Разработка алгоритмов распознавания объектов воздушной съемки на основе свёрточных нейронных сетей c иерархическим классификатором тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Нгуен Ван Чонг

• Нгуен Ван Чонг
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Нгуен Ван Чонг

Введение

Глава 1. Распознавание объектов воздушной съемки методами

машинного обучения

1.1 Теория распознавания объектов воздушной съемки

1.2 Методы решения задач компьютерного зрения

1.2.1 Методы фильтрации при распознавании объектов компьютерного зрения

1.2.2 Методы логического анализа в задачах распознавания образов

1.3 Основные принципы обучения нейронных сетей для распознавания объектов воздушной съемки

1.4 Выводы

Глава 2. Построение и элементы сверточной нейронной сети для распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим

классификатором

2.1 Интеллектуальные методы динамического анализа структурированных данных

2.2 Рекуррентные алгоритмы интеллектуального анализа информации в сложных измерительно-управляющих системах

2.3 Гибридные архитектуры нейронных сетей

2.4 Шаблоны архитектуры сверточной нейронной сети

2.4.1 Слои свертки

2.4.2 Параметры и гиперпараметры сети

2.4.3 Максимальные и усредненные слои подвыборки

2.4.4 Техника dropout (переобучения)

2.4.5 Техника batch-normalization (пакетной нормализации)

2.4.6 Классификатор учебных данных

Стр.

2.5 Обоснование методов и разработка алгоритма нейросетевого оценивания параметров классификации объектов на снимках воздушной съемки

2.6 Анализ устойчивости расчетных схем алгоритмов

2.7 Классификатор Бойтах (обобщение логистической функции

для многомерного случая)

2.8 Выводы

Глава 3. Построение алгоритма обучения сверточной нейронной сети для распознавания объектов воздушной съемки на основе нейронных сетей с

иерархическим классификатором

3.1 Методы обучения нейронных сетей

3.1.1 Обучение с учителем

3.1.2 Обучение без учителя

3.1.3 Обучение, основанное на коррекции ошибок

3.1.4 Конкурентное обучение

3.1.5 Обучения Хебба

3.2 Алгоритм обратного распространения ошибки

3.3 Показатели нейронной сети: точность, потеря и качество

3.3.1 функция потерь

3.3.2 Точность как критерий качества обучения нейронной сети

3.4 Обзор библиотек глубинного обучения

3.4.1 Библиотека программного обеспечения ТепйогБкж с

открытым исходным кодом для задач машинного обучения

3.5 Наборы данных. Этап предварительной подготовки данных

3.6 Иерархическая модель классификатора

3.6.1 Выбор архитектуры сверточной нейронной сети. Базовая

модель

3.7 Обучение сверточной нейронной сети с помощью ускорителей графов

3.8 Выводы

Стр.

Глава 4. Способ улучшения точности классификации базовой модели для распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим классификатором

4.1 Нейрон смещения

4.2 Модернизация классификатора базовой модели. Новая модель

4.3 Анализ полученных результатов

4.4 Выводы

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц

Приложение А. Фрагменты программного кода

Приложение Б. Акт о внедрении результатов диссертационной

работы

Приложение В. Свидетельство о государственной регистрации

программ для ЭВМ

Введение диссертации (часть автореферата) на тему «Разработка алгоритмов распознавания объектов воздушной съемки на основе свёрточных нейронных сетей c иерархическим классификатором»

Введение

Актуальность темы. С каждым годом растет интерес к решению более сложных задач распознавания объектов, обусловленный автоматизацией и необходимостью образных процессов коммуникации в интеллектуальных системах. Поэтому совершенствование методов реализации распознавания образов компьютерными системами является актуальным.

В то же время практически отсутствует автоматическая система обработки с сегментацией аэрофотоснимков для поиска и локализации объектов распознавания. Поэтому данное направление исследований в настоящее время является актуальным.

В работе ставится задача разработки сверточной нейронной сети сегментации аэросъемочных изображений для поиска и локализации объектов распознавания с установлением. Предложена архитектура сверточной нейронной сети, создающая нейросетевую систему распознавания объектов на изображениях, использующая новый подход к классификации с применением иерархического классификатора. Архитектура предназначена для решения поставленной задачи. Она является универсальной для многих наборов данных изображений и имеет высокие показатели производительности, такие как затраты памяти, время обучения сети, количество параметров при распознавании, а главное, более высокое значение точности распознавания объектов по сравнению с уже существующими моделями сверточных нейронных сетей [1—3]. Основное внимание уделено подходу к обучению такой сети и проведению экспериментов на сформированных выборках различных наборов данных, используя графические ускорители (анлг. Graphic processing unit, GPU) [4].

Степень разработанности темы. Один из перспективных подходов к этой проблеме основан на использовании искусственных нейронных сетей и нейрокомпьютеров как наиболее прогрессивных и эффективных подходов к решению задач распознавания образов. На сегодняшний день предложено большое количество архитектур нейронных сетей для использования в задачах распознавания объектов. Анализ существующих решений показывает, что в настоящее время не существует модели, являющейся наилучшей по всем полученным показателям эффективности. Перспективы улучшения архитектур кроются в сверточных нейронных сетях.

Преимущества сверточиых сетей над многослойными заключаются в использовании общих весов в сверточных слоях, т.е. для каждого пикселя свер-точного слоя используется один и тот же фильтр (банк веса).

Машинное обучение, распознавание объектов воздушной сьемки и компьютерное зрение являются одними из самых перспективных направлений в дальнейшем развитии среди отраслей современной цифровой трансформации. Ускоренные темпы развития технологий, робототехники и систем искусственного интеллекта отводят этим направлениям особое место в науке.

Существует множество методов, и предложено множество алгоритмов решения задачи распознавания объектов на изображении, однако все эти идеи уступают в точности результата, простоте и быстродействии искусственным нейронным сетям [5—8].

Аэрофотосъемка зависит от технического прогресса в приборостроении, распознавании объектов и разработке специального программного обеспечения. Одной из важнейших задач является определение точных границ объектов. Результатом сканирования является серия изображений, соответствующих выбранному отсканированному участку. На основе полученных изображений можно визуально определить наличие объектов и их границы. Проблема в том, что наличие объектов распознавания довольно легко определить визуально в силу характерных для них структурных свойств, тогда как определение точных границ весьма затруднительно. Это задача, которую практически невозможно решить без дополнительных процедур или сегментации изображения.

Объектом исследования являются способы организации средств нейро-сетевого распознавания объекта на изображении с использованием графических ускорителей.

Предметом исследования являются методы и алгоритмы реализации архитектур сверточных нейронных сетей для распознавания объектов воздушной съемки на основе иерархического классификатора.

Целью данной работы является исследование и разработка нейросетевой системы распознавания объектов воздушной сьемки на изображениях, применяя сверточную нейронную сеть собственной архитектуры с использованием иерархического классификатора; предложить архитектуру, которая будет предназначаться для решения поставленной задачи - достигнуть более высоких показателей производительности, времени обучения сети, количества парамет-

ров при распознавании объекта и высокого показателя точности распознавания по сравнению с уже существующими моделями сверточных нейронных сетей.

Для реализации этой цели необходимо решить следующие задачи:

1. Анализ проблем распознавания объектов воздушной съемки методами машинного обучения, основных принципов обучения нейронных сетей для распознавания объектов воздушной съемки.

2. Построение системы элементов сверточной нейронной сети для распознавания объектов воздушной съемки на основе иерархического классификатора.

3. Разработка иерархического классификатора для достижения низкого уровня ошибок и высокого уровня точности классификации по сравнению с другими средствами распознавания.

4. Разработка алгоритма обучения сверточной нейронной сети для распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим классификатором (базовая модель).

5. Предложен способ улучшения точности классификации базовой модели для распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим классификатором, чтобы достичь уровня показателя точности выше уже существующих.

Научная новизна работы. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной и формирующие комплексный показатель улучшения точности классификации базовой модели для распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим классификатором:

1. Исследована теория распознавания объектов воздушной съемки методами машинного обучения. Для этого были исследованы методы фильтрации при распознавании объектов компьютерного зрения, методы логического анализа и основные принципы обучения нейронных сетей для распознавания объектов воздушной съемки объектов.

2. Разработана технология применения сверточной нейронной сети для создания систем распознавания объектов воздушной съемки.

3. Усовершенствован метод распознавания объектов на аэроснимках, используя сверточную нейронную сеть собственной архитектуры, что позволило существенно улучшить метод классификации и повысить показатель точности распознавания.

4. Предложены точные настройки и модернизированный классификатор сети, а также преобразование входных данных, чтобы достичь низкого уровня ошибок и высокого уровня точности классификации по сравнению с другими средствами распознавания.

5. Сформулирован принцип построения модели на основе нейронных сетей с иерархическим классификатором, при котором определяются параметры заполнения глубокого обучения.

6. Разработан способ улучшения точности классификации базовой модели для распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим классификатором.

Теоретическая значимость. Разработаны теоретические основы математического моделирования, построения, функционирования и управления нейронной сетью для повышения точности классификации базовой модели для распознавания объектов воздушной съемки на основе нейронных сетей.

Практическая значимость работы заключается в создании на основе разработанных численных методов иерархического классификатора модели нейросети для определения повышения точности классификации базовой модели при распознавании объектов воздушной съемки на основе нейронных сетей. Результатом работы стала разработанная модернизированная модель на основе базовой архитектуры сверточной сети для распознавания объекта воздушной сьемки, которая может применяться сразу к семи наборам данных благодаря такому универсальному инструменту, как иерархический классификатор. Новая модель представлена с учетом таких изменений относительно базовой модели, как увеличение числа фильтров входного слоя, увеличение размера подвыборки максимума и изъятие нейронов смещения в выходных слоях. Значительное повышение значения процента точности распознавания почти во всех предложенных для тестирования наборах данных, а также уменьшение числа параметров сети было достигнуто благодаря новой модели архитектуры сверточной сети в сочетании с иерархическим классификатором.

Методы исследования. При решении поставленных задач в работе использованы методы математического моделирования, теории нечетких множеств, теории алгоритмов, теории нейронных сетей, методы оптимизации, численные методы, теория управления, методы вычислительной алгебры, теория планирования эксперимента, методы и средства функционального и объектно-ориентированного программирования.

Выносятся на защиту следующие основные положения

1. Среди предложенного количества архитектур сверточных сетей критерии оценки качества обучения выражаются через показатели, такие как точность, число потерь (рассчитывается функция потерь) и другие. Программная реализация сверточных нейронных сетей базируется на использовании технологий глубинного обучения, представленных в виде библиотек и специальных пакетов, которые позволяют программистам проектировать архитектуры сетей и настраивать параметры. Главной идеей совершенствования способа классификации сверточной нейронной сети распознавания объектов воздушной съемки является иерархический классификатор, который является универсальным инструментом для расчета точности, примененным на многих входных наборах данных. Основа иерархии классификатора лежит в кластеризации поданных классов.

2. Базовая модель сети требует значительного улучшения, чтобы достичь уровня показателя точности выше уже существующих. Предложена архитектура сверточной сети с иерархическим классификатором (базовой модели), а также проведено обучение и установлен показатель точности для каждого из представленных наборов данных с помощью современных библиотек глубокого обучения.

3. Сверточная нейронная сеть обучается путем прямого и обратного проходов, и при этом значение сверточных ядер и матрицы смещения претерпевают изменения.

Достоверность научных результатов подтверждается корректным использованием математического аппарата, методов математического моделирования, численных методов; проведенными в достаточном объеме вычислительными экспериментами; практической реализацией и апробацией разработанных динамических окрестностных моделей, численных методов и комплекса программ в производственных условиях; сравнительным анализом результатов моделирования с экспериментальными данными, а также обсуждением основных положений диссертации на семинарах и научных конференциях.

Апробация работы. Материалы работы, ее основные теоретические и практические результаты докладывались и обсуждались на международных конференциях:

— The 12th International Conference on Ambient Systems, Networks and Technologies (ANT 2021), Warsaw, Poland, 2021.

— IEEE International Siberian Conference on Control and Communications 2021, Kazan Federal University, Kazan, Russian Federation, 2021.

— The 7th International Conference on Machine Learning, Optimization, and Data Science, Grasmere, Lake District, England - UK, 2021.

— 20th IFAC Conference on Technology, Culture and International Stability, ICS RAS, Moscow, Russia, 2021.

Личный вклад автора. Все результаты, изложенные в диссертации, получены автором самостоятельно. Из совместных работ в диссертацию включены только полученные лично автором результаты.

Публикации. Основные научные результаты, полученные в ходе диссертационного исследования, опубликованы в 5 печатных изданиях: 4 статьи в научных изданиях, индексируемых системами Scopus и Web of Science, 1 свидетельство о государственной регистрации программ для ЭВМ.

Объем и структура работы. Диссертация состоит из введения, четырёх глав, заключения и одного приложения. Полный объём диссертации составляет 134 страницы, включая 17 рисунков и 17 таблиц. Список литературы содержит 74 наименования.

Работа построена следующим образом:

Во введении представлена общая характеристика работы, обоснована актуальность направления исследований, сформулированы цели и задачи исследований, показана научная новизна полученных результатов и практическая ценность работы.

В первой главе рассмотрены основные принципы распознавания аэроснимков, сделан краткий обзор существующих методов решения задач компьютерного зрения, представлено общее понятие искусственных компьютерных сетей и коротко описаны методы их обучения.

Во второй главе рассмотрен шаблон архитектуры сверточной нейронной сети и показано, что он является основой предложенной системы распознавания объектов в виде базовой модели.

В третьей главе описываются особенности наборов данных, на которых будет учиться нейронная сеть, а также принципы работы иерархического классификатора, который является инструментом для улучшения точности

и

распознавания. Описана основная методика обучения и тестирования базовой модели сети с использованием графических ускорителей.

В четвертой главе предложены и внедрены изменения относительно базовой модели для улучшения точности классификации, представлена новая модель сверточной нейронной сети. Проведено обучение и тестирование новой модели сети с использованием графических ускорителей и выполнен анализ полученных результатов.

В выводах представлены результаты проведенной работы.

Глава 1. Распознавание объектов воздушной съемки методами

машинного обучения

1.1 Теория распознавания объектов воздушной съемки

Постоянное обновление данных космических снимков обеспечивает достаточную информационную базу не только для оценки текущего (мгновенного) состояния растительности городских территорий, но и позволяет определить изменения за десятилетия. Анализ временных серий многоспектральных пространственных изображений требует создания универсального алгоритма, функционирование которого не зависит от различных входных данных. Машинное обучение — самая главная часть теории искусственного интеллекта, фундаментальной математической дисциплины, включающей в себя такие науки, как математическая статистика и теория вероятностей. Можно выделить два типа машинного обучения, которые активно используют: индуктивное обучение и дедуктивное обучение. Индуктивное обучение основано на обработке эмпирических данных, дедуктивное обучение — на формализации полученных знаний и их дальнейшем упорядочении [9]. Принято считать, что область экспертных систем включает в себя дедуктивное обучение, поэтому оно используется в теории и практике машинного обучения в целом.

В противоположность этому подходу существуют методы распознавания объектов с использованием машинного обучения и искусственных нейронных сетей, сформированные на более формализованных подходах к распознаванию и демонстрирующие не худший результат, а в некоторых случаях и значительно лучший. Часто можно встретить ошибочное сравнение терминов «распознавание» и «классификация», когда они рассматриваются как синонимы, но не являются полностью взаимозаменяемыми. Каждый из этих двух терминов может иметь свои сферы применения в зависимости от поставленной задачи [10].

Задачей распознавания является выделение из исходных изображений характерных признаков и/или свойств. Это задание можно отнести к предварительной обработке без учета объединяющих признаков. Межклассовые признаки — это признаки, которые определяют различия между классами. Общие признаки, присущие всем классам, не несут полезной информации, поэтому

для задачи распознавания объектов не рассматриваются как характерные. Таким образом, выбор правильных признаков — одна из важных задач построения систем распознавания, что формирует основу для глобальных исследований объектов воздушной сьемки.

На основе классификации данных определяются границы объектов и административных зон для проведения систематических глобальных сопоставлений [3]. Использование данных дистанционных исследований Земли для мониторинга объектов распознавания открывает новые возможности для исследования и наблюдения за окружающей природной средой и, в частности, по процессам деградации биоресурсов.

Данные дистанционных исследований Земли используются для обнаружения и оценки последствий чрезвычайных ситуаций, контроля за лесными вырубками и землепользованием, мониторинга состояния природных экосистем, решения природоресурсных задач. Поскольку эти технологии считаются неинвазивными и более точными по сравнению с традиционными методами наблюдения за природными и природно-антропогенными экосистемами, они все чаще применяются для мониторинга окружающей среды [11]. Кроме того, технологии ДИЗ широко применяются для оценки состояния деградации земельных ресурсов [12].

Основной задачей обработки мультиспектральных космических снимков является восстановление информации, наиболее достоверно отражающей процессы изменения оценки объектов аэрофотосъемки. Эти исследования могут носить не только локальный, но и глобальный характер, реализуя использование систем обнаружения и классификации объектов в воздухе на основе обработки набора больших данных (Big Data).

Так, например, чтобы систематически определять границы городских территорий за два отдельных года, эксперты в 2020 году [13] использовали глобальный слой сетки населенных пунктов, который нанес на новейшую карту глобальную протяженность населенных пунктов в 2000 и 2015 годах с использованием изображений Landsat [14]. Pesaresi М. и Freire S. использовали версию набора данных с разрешением 250 м и определили все ячейки сетки с более чем 20% застроенного покрытия как «городские», следуя ранее использованным пороговым значениям [15], что составляет 4929 городских территорий в 2000 году и 5923 в 2015 году. Анализ охватывал территорию площадью более 390 000 км2 в 2000 году и 490 000 км2 в 2015 году. Расчеты площади проводились

в соответствии с проекцией равноплощади Эккерта VI. Из выявленных городских территорий 4256 присутствовали как в 2000, так и в 2015 году. Исходными спутниковыми изображениями для классификации служил архив изображений Landsat 7 Surface Reflectance Tier 1, обеспечивающий скорректированный с учетом атмосферных воздействий коэффициент отражения от поверхности с разрешением 30 м на 30 м [16].

Составные изображения без облаков были получены путем обработки данных изображений за три года для каждого периода (1999-2001 и 2014-2016 гг.) с помощью Google Earth Engine [17]. Данные за три года использовались для обеспечения доступности образцов изображений для каждого пикселя всей композиции, и поэтому мы ожидаем, что любые изменения земного покрова, которые происходят в течение каждого трехлетнего периода, будут относительно небольшими по сравнению с изменениями, которые произойдут в более широком периоде 2000-2010 гг. Композиция выполнялась попиксельно с использованием временного стека наблюдаемых значений для каждого пикселя. После извлечения всех изображений, доступных для областей исследования в эти периоды, все значения определялись как «облака» с «высокой» достоверностью или как «тени облаков» по алгоритму CFMASK [18], исключаемые из временного стека для каждого пикселя.

Идентификация облаков с помощью CFMASK неидеальна, поэтому некоторые перистые облака остаются видимыми. Таким образом, оставшиеся значения пикселей были составлены из 20-ти процентных значений за исследуемые периоды для диапазонов 1-7 Landsat 7. Средние значения обычно используются во время подобных процессов композитинга [19; 20], но наличие перистых облаков имеет тенденцию приводить к более ярким пикселям, поэтому предварительные тесты с использованием среднего значения иногда приводили к артефактам перистых облаков, особенно в тропических регионах. Поэтому автор решил использовать низкий процентиль, следуя логике метода компоновки «самых темных пикселей» [21].

Таким образом, поиск подходов к использованию материалов дистанционных исследований Земли должен быть использован в будущем для отслеживания продолжающихся изменений в городах мира.

Развитие цифровых технологий обработки результатов воздушной сьемки, спутниковых навигационных систем и систем дистанционного сбора геоданных позволило повысить полноту и достоверность картографической информации,

используемой в геоинформационных системах (ГИС) различного функционального назначения [22]. Однако независимо от способа получения цифровых картографических данных, аэрофотоснимки могут содержать не только полезную информацию о расположении объектов (зданий, дорог, водных ресурсов), но и помехи, вызываемые бликами солнца, тенями от объектов и т.д., которые существенно снижают качество формирования карты или плана местности. Для устранения помех на снимках необходима специальная компьютерная обработка картографических изображений. Обработку информации в ГИС можно разбить на три уровня (см. Рис. 1.1).

Рисунок 1.1 — Уровни обработки информации в ГИС

Последние достижения в области сенсорных технологий делают изображения дистанционного зондирования с высоким спектральным разрешением легкодоступными. Точная классификация гиперспектральных изображений может быть получена с помощью некоторых передовых методик, позволяющих решить сложные проблемы. Проблема возникает из-за небольшого соотношения между размером входного пространства функций и количеством обучающих

выборок. В результате эта проблема дает плохие оценки параметров классификатора, что, в свою очередь, приводит к низкой точности маркировки и неверным свойствам обобщения.

По сравнению с визуальной интерпретацией и пиксельными методами, объектно-ориентированные подходы могут повысить точность классификации. Объектно-ориентированный метод для обнаружения изменений в распознавании авиационных объектов может сочетать цвет, форму, пространственную информацию и контекстный анализ. Объектно-ориентированные методы основаны на сегментации изображения, которая предполагает разделение изображения на пространственно-непрерывные и однородные области и приводит к уменьшению локальных спектральных вариаций.

Методы нечеткой логики и интеллекта, такие как искусственная нейронная сеть (ИНС), или интегрированные методы, такие как адаптивное гауссовское векторное квантование с нечетким обучением (АСИЛ^)), также могут использоваться для оценки параметров классификатора объектов воздушной съемки.

1.2 Методы решения задач компьютерного зрения

1.2.1 Методы фильтрации при распознавании объектов

компьютерного зрения

В современном мире существуют программные пакеты, которые позволяют устранять вышеприведенные дефекты. Но они требуют участия человека, который является экспертом в области обработки изображений и обладает знаниями работы в данных программных пакетах. Истоки современных методов обработки изображений можно найти в теории обработки сигналов [23].

Таким образом, существует потребность в применении алгоритмов, которые позволяют без привлечения эксперта в области обработки изображений в автоматическом режиме обрабатывать изображение в зависимости от требований, предъявляемых к нему. Также в разных предметных областях алгоритмы

обработки изображений встраиваются в цифровое оборудование, которое в автоматическом режиме обрабатывает полученное изображение [24].

Стоит отметить, что метод, который хорошо работает для улучшения изображения, такой как рентгеновские лучи, необязательно может быть эффективен для улучшения изображения из космоса. Также если мы можем оценить эффективность метода распознавания образов на основе правильности распознанных изображений, то мы можем оценить и качество метода улучшения изображения, визуально сравнивая исходное и конечное изображение или применяя существующие метрики. Оценка репрезентативности изображений, используемых для анализа, является отдельной научной проблемой [25].

Еще одним частым явлением на снимках, полученных цифровыми фотоустройствами, является появление шумов на изображении. В основном это связано со спецификой устройства цифрового оборудования. Матрица, на которую проецируется изображение, может иметь дефекты, т.е. на ней могут быть пиксели, которые не работают или пиксели, которые завышают сигнал. Также в условиях недостаточной освещенности шума на фото будет больше. Для устранения подобных дефектов используются методы фильтрации изображения, например, медианная фильтрация.

Методы компьютерного зрения оказали большое влияние на развитие медицинских исследований. Большинство изображений подвергается воздействию различного рода шумов при передаче по каналам связи и на этапе создания. Таким образом, первым этапом обработки изображения является фильтрация. Наличие шума в изображении может вызвать неточности и искажения на этапе сегментации и декодирования. Например, система может воспринимать шум как отдельные объекты, что может отрицательно сказаться на дальнейших исследованиях, определяющих выбор фильтров при распознавании объектов.(см.

Список литературы диссертационного исследования кандидат наук Нгуен Ван Чонг, 2022 год

Список литературы

1. Backpropagation applied to handwritten zip code recognition / Y. LeCun [и др.] // Neural computation. — 1989. — т. 1, № 4. — с. 541 551.

2. Sinha D., Dougherty E. R. Fuzzy mathematical morphology // Journal of Visual Communication and Image Representation. — 1992. — т. 3, № 3. — с. 286^302.

3. Small С., Pozzi F., Elvidge C. D. Spatial analysis of global urban extent from DMSP-OLS night lights // Remote Sensing of Environment. — 2005. — т. 96, Л" 3/4. - с. 277—291.

4. Nachtegael Л/.. Kerre E. E. Connections between binary, gray-scale and fuzzy mathematical morphologies // Fuzzy sets and systems. — 2001. — т. 124, Л" 1. - с. 73 85.

5. Haque M. /., Basak R. Land cover change detection using GIS and remote sensing techniques: A spatio-temporal study on Tanguar Haor, Sunamganj, Bangladesh // The Egyptian Journal of Remote Sensing and Space Science. — 2017. - т. 20, № 2. - c. 251 263.

6. Hardt Л/.. Ma T. Identity matters in deep learning // arXiv preprint arXiv:1611.04231. - 2016.

7. Thoma M. The hasyv2 dataset // arXiv preprint arXiv: 1701.08380. — 2017.

8. Very deep convolutional neural networks for raw waveforms / W. Dai [и др.] // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - IEEE. 2017. - c. 421 425.

9. Классификация содержания фосфора методами машинного обучения по данным дистанционного зондирования земли / А. Бекбаева [и др.] // The Scientific Heritage. — 2020. — № 56^3.

10. Курбатова С. Обзор технологий, связанных с искусственным интеллектом, машинным обучением и распознаванием образов на примере российских и зарубежных компаний // Международная научно-техническая конференция молодых ученых. — 2020. — с. 3909—3921.

11. Application on GIS for land use planning: a case study in Central part of Albania / L. Dushaj [и др.] // Research Journal of Agricultural Science. — 2009. - т. 41, № 2. - c. 104—111.

12. Agurgo F. B. Remote sensing and GIS for land degradation assessment and land management in Ghana. — 1996.

13. Richards D. R., Belcher R. N. Global changes in urban vegetation cover // Remote Sensing. - 2020. - т. 12, № 1. - с. 23.

14. Pesaresi M.. Freire S. GHS Settlement Grid // Following the REGIO Model. — 2014.

15. A global map of urban extent from nightlights / Y. Zhou [и др.] // Environmental Research Letters. — 2015. — т. 10, № 5. — с. 054011.

16. The global Landsat archive: Status, consolidation, and direction / M. A. Wulder [и др.] // Remote Sensing of Environment. — 2016. — т. 185. — с. 271—283.

17. Google Earth Engine: Planetary-scale geospatial analysis for everyone / N. Gorelick [и др.] // Remote sensing of Environment. — 2017. — т. 202. — с. 18—27.

18. Zhu Z., Woodcock С. E. Object-based cloud and cloud shadow detection in Landsat imagery // Remote sensing of environment. — 2012. — т. 118. — с. 83 94.

19. Azzari G., Lobell D. Landsat-based classification in the cloud: An opportunity for a paradigm shift in land cover monitoring // Remote Sensing of Environment. — 2017. — т. 202. — с. 64 74.

20. Mapping irrigated cropland extent across the conterminous United States at 30 m resolution using a semi-automatic training approach on Google Earth Engine / Y. Xie [и др.] // ISPRS Journal of Photogrammetry and Remote Sensing. - 2019. - т. 155. - с. 136 149.

21. Ten-meter sentinel-2a cloud-free composite^southern africa 2016 / F. Ramoino [и др.] // Remote Sensing. — 2017. — т. 9, № 7. — с. 652.

22. Назаров А. Цифровые, аналоговые снимки местности и их измерение // Минск: БГУ. —. — с. 13.

23. Chakravorty P. What is a signal?[lecture notes] // IEEE Signal Processing Magazine. - 2018. - т. 35, № 5. - с. 175-177.

24. Kehtarnavaz N., Gamadia M. Real-time image and video processing: from research to reality // Synthesis Lectures on Image, Video & Multimedia Processing. - 2006. - т. 2, № 1. - с. 1-108.

25. How good is my test data? Introducing safety analysis for computer vision / O. Zendel [и др.] // International Journal of Computer Vision. — 2017. — т. 125, № 1. - c. 95-109.

26. Bassani C., Cavalli R. M.. Pignatti S. Aerosol optical retrieval and surface reflectance from airborne remote sensing data over land // Sensors. — 2010. — т. 10, № 7. - c. 6421-6438.

27. Старовойтов В., Голуб Ю. Старовойтов ВВ Цифровые изображения: от получения до обработки. — 2014.

28. Гансалес Р., Вудс Р. Мир цифровой обработки. Цифровая обработка изображений/пер. с англ. под ред // П. А. Чочиа. М.: Техносфера. — 2005.

29. Инютин А. Мягкая математическая морфология для фильтрации бинарных изображений // Искусственный интеллект. — 2013.

30. Block /., М(litre Н. Fuzzy mathematical morphologies: a comparative study // Pattern recognition. - 1995. - т. 28, № 9. - с. 1341-1387.

31. Baets В. D., Kerre E., Gupta M. The fundamentals of fuzzy mathematical morphology part 1: basic concepts // International Journal of General Systems. - 1995. - т. 23, № 2. - с. 155-171.

32. Kitainik L. Fuzzy Decision Procedures with Binary Relations: Theory and Applications. — 1993.

33. Hyperspectral remote sensing data analysis and future challenges / J. M. Bioucas-Dias [и др.] // IEEE Geoscience and remote sensing magazine. — 2013. - т. 1, № 2. - c. 6-36.

34. Li J., Bioucas-Dias J. M.. Plaza A. Spectral-spatial classification of hyperspectral data using loopy belief propagation and active learning // IEEE Transactions on Geoscience and remote sensing. — 2012. — т. 51, № 2. — с. 844-856.

35. Mou L., Ghamisi P., Zhu X. X. Fully conv-deconv network for unsupervised spectral-spatial feature extraction of hyperspectral imagery via residual learning // 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). - IEEE. 2017. - c. 5181^5184.

36. Zhang C., Qiu F. Mapping individual tree species in an urban forest using airborne lidar data and hyperspectral imagery // Photogrammetric Engineering & Remote Sensing. — 2012. — t. 78, № 10. — c. 1079^1087.

37. Shouse M.. Liang L., Fei S. Identification of understory invasive exotic plants with remote sensing in urban forests // International Journal of Applied Earth Observation and Geoinformation. — 2013. — t. 21. — c. 525 534.

38. Iovan C., Boldo D., Cord M. Detection, characterization, and modeling vegetation in urban areas from high-resolution aerial imagery // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. — 2008. - t. 1, № 3. - c. 206 213.

39. Halko, N., Martinsson, P., Tropp, J.: Finding structure with randomness: prob-abilistic algorithms for constructing approximate matrix decompositions. SIAM Rev. 53 (2), 217-288 (2011) He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: CVPR (2016) / J. Kossaifi [h ,np.] // Computer Vision-ECCV 2018: 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part XII. t. 11216. — Springer. 2018. — c. 121.

40. Digital image processing / R. C. Gonzalez, R. E. Woods [h ,np.]. — 2002.

41. Sharma N., Aggarwal L. M. Automated medical image segmentation techniques // Journal of medical physics/Association of Medical Physicists of India. - 2010. - t. 35, № 1. - c. 3.

42. Lang ford Z. L., Kumar J., Hoffman F. M. Convolutional neural network approach for mapping arctic vegetation using multi-sensor remote sensing fusion // 2017 IEEE International Conference on Data Mining Workshops (ICDMW). - IEEE. 2017. - c. 322-331.

43. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava [h ,np.] // The journal of machine learning research. — 2014. — T_ 15> jspo i _ c_ 1929^1958.

44. Deep learning-based classification of hyperspectral data / Y. Chen [и др.] // IEEE Journal of Selected topics in applied earth observations and remote sensing. - 2014. - т. 7, № 6. - с. 2094-2107.

45. Дорофеюк А., Б ay,млн P., Дорофеюк Ю. Методы интеллектуальной обработки информации на базе алгоритмов стохастической аппроксимации // Математические методы распознавания образов. — 2011. — т. 15, № 1. — с. 108-111.

46. Дорофеюк А. А. Методология экспертно-классификационного анализа в задачах управления и обработки сложноорганизованных данных (история и перспективы развития) // Проблемы управления. — 2009. — № 3.1. — с. 19-28.

47. Chen F., Zhao X, Jia X. Spectral-spatial classification of hyperspectral data based on deep belief network // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. — 2015. — т. 8, № 6. — с. 2381—2392.

48. BASS net: Band-adaptive spectral-spatial feature learning neural network for hyperspectral image classification / A. Santara [и др.] // IEEE Transactions on Geoscience and Remote Sensing. — 2017. — т. 55, № 9. — с. 5293—5301.

49. Ghamisi P., Chen F., Zhu X. X. A self-improving convolution neural network for the classification of hyperspectral data // IEEE Geoscience and Remote Sensing Letters. - 2016. - т. 13, № 10. - с. 1537-1541.

50. Romero A., Gatta C., Camps-Vails G. Unsupervised deep feature extraction for remote sensing image classification // IEEE Transactions on Geoscience and Remote Sensing. - 2015. - т. 54, № 3. - с. 1349-1362.

51. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion. / P. Vincent [и др.] // Journal of machine learning research. — 2010. — т. 11, № 12.

52. Deep supervised learning for hyperspectral data classification through convolutional neural networks / K. Makantasis [и др.] // 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). — IEEE. 2015. - c. 4959-4962.

53. Long J., Shelhamer P., Darrell T. Fully convolutional networks for semantic segmentation // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2015. — c. 3431—3440.

54. Гор бань А., Россиев Д. Нейронные сети на персональном компьютере. — Новосибирский филиал Федерального государственного унитарного предприятия ..1996.

55. Лебедев В. В. Алгоритмы ускорения сверточных нейронных сетей-/Algorithms For Speeding Up Convolutional Neural Networks : дис. ... канд. / Лебедев Вадим Владимирович. — 2018.

56. Хайкин С. Нейронные сети: полный курс, 2-е издание. — Издательский дом Вильяме, 2008.

57. Detection of fault data injection attack on uav using adaptive neural network / A. Abbaspour [и др.] // Procedia computer science. — 2016. — т. 95. — с. 193^200.

58. Дьяконов M. Ю. Нейросетевая система обнаружения аномального поведения вычислительных процессов микроядерных операционных систем : дис. ... канд. / Дьяконов Максим Юрьевич. — Уфимский государственный авиационно-технический университет, 2010.

59. Kayacik Н. G., Zincir-Heywood A. N., Heywood М. I. Selecting features for intrusion detection: A feature relevance analysis on KDD 99 intrusion detection datasets // Proceedings of the third annual conference on privacy, security and trust, т. 94. - Citeseer. 2005. - c. 1723 1722.

60. Шарабыров И. Интеллектуальный анализ данных в задачах обнаружения атак на локальные беспроводные сети // Естественные и технические науки, _ 2015. Л" 11. с. 479—481.

61. Zadeh L. A. Information and control // Fuzzy sets. — 1965. — т. 8, № 3. — с. 338^353.

62. Вентцель Е. Элементы теории игр/Вентцель ЕС М.: Государственное издательство физико-математической литературы, 1961. 67 с // Популярные лекции по математике. —. — № 32.

63. Нейросетевая технология обнаружения сетевых атак на информационные ресурсы / Ю. Г. Емельянова [и др.] // Программные системы: теория и приложения. — 2011. — т. 2, № 3.

64. What is the class of this image / R. Benenson [и др.] // Discover the current state of the art in objects classification. — 2018.

65. Hiai F., Lin M. On an eigenvalue inequality involving the Hadamard product // Linear Algebra and its Applications. — 2017. — t. 515. — c. 313-320.

66. Ioffe S., Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift // International conference on machine learning. - PMLR. 2015. - c. 448-456.

67. Howard A. G. Some improvements on deep convolutional neural network based image classification // arXiv preprint arXiv:1312.5402. — 2013.

68. Error-driven incremental learning in deep convolutional neural network for large-scale image classification / T. Xiao [h ^p.] // Proceedings of the 22nd ACM international conference on Multimedia. — 2014. — c. 177—186.

69. Ortigosa-Herndndez J., Inza /., Lozano J. A. Towards competitive classifiers for unbalanced classification problems: A study on the performance scores // arXiv preprint arXiv:1608.08984. - 2016.

70. cudnn: Efficient primitives for deep learning / S. Chetlur [h ^p.] // arXiv preprint arXiv:1410.0759. - 2014.

71. Densely connected convolutional networks / G. Huang [h ^p.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — c. 4700-4708.

72. Stacked what-where auto-encoders / J. Zhao [h ^p.] // arXiv preprint arXiv:1506.02351. - 2015.

73. Girija S. S. Tensorflow: Large-scale machine learning on heterogeneous distributed systems // Software available from tensorflow. org. — 2016. — t. 39, № 9.

74. McLaughlin N., Del Rincon J. M.. Miller P. Data-augmentation for reducing dataset bias in person re-identification // 2015 12th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). — 2015. - c. 1-6.

Список рисунков

1.1 Уровни обработки информации в ГИС ..................................15

1.2 Методы фильтрации изображений........................................18

1.3 Результат свертки изображения..........................................19

1.4 Пример работы алгоритма медианного фильтра........................19

1.5 Результат работы медианного фильтра..................................19

1.6 Чистая разница в процентном отношении растительного покрова между 2000 и 2015 годами во всех городских районах площадью

более 15 км2, существовавших в оба этих года..........................29

1.7 Сеть автоэнкодер............................................................31

1.8 Каскад автоэнкодеров (stacked (autoencoder) autoencoder) ............31

2.1 Неокогнитрон К. Фукушимы..............................................57

2.2 Операция подвыборки......................................................66

2.3 Техника Dropout. Слева (а) — нейронная сеть до применения Dropout, а справа (б) — та же сеть после применения техники Dropout 67

2.4 Линейный классификатор..................................................69

3.1 Процесс обучения сети ....................................................82

3.2 Проблема переобучения сети..............................................83

3.3 Графическое представление архитектуры базовой сверточной нейронной сети..............................................................95

3.4 Кривая значение функции потерь по эпохам............................96

4.1 Архитектура предложенной сверточной нейронной сети........102

Список таблиц

1 Достоинства и недостатки анализируемых методов обработки изображений................................ 20

2 Стратификация обучающих пикселей по широким типам экорегионов и стратам 2014 NDVI.................... 27

3 Матрица неточностей для модели классификации зеленых и нерастительных покровов в 2000 году. Сравнение случайных прогнозов по лесам и 293 новых точек проверки............ 27

4 Матрица неточностей для модели классификации зеленых и нерастительных покровов в 2015 году. Сравнение случайных прогнозов по лесам и 293 новых точек проверки............. 28

5 Фиксированные эффекты от биномиальной обобщенной линейной модели различий между пропорциональным зеленым покровом в

2000 и 2015 годах.............................. 28

6 Случайные эффекты от биномиальной обобщенной линейной модели различий между пропорциональным зеленым покровом в

2000 и 2015 годах.............................. 29

7 Типы функций активации а слоев подвыборки сверточных нейронных сетей множества А...................... 66

8 Сравнение библиотек глубинного обучения..............................87

9 Точность основного классификатора во время обучения на полном наборе из 100 классов с распределением в 14 кластеров................92

10 Архитектура базовой модели сверточной сети..........................93

11 Результаты распознавания базовой модели при различных наборах данных......................................................................96

12 Время обучения сверточной нейронной сети на CPU и GPU..........98

13 Архитектура новой модели сверточной сети ..............101

14 Результаты учений предложенной сверточной сети на цветных изображениях размером 32x32 ...................... 103

15 Показатель точности распознавания новой модели при различных наборах данных ..............................105

16 Время обучения сверточной нейронной сети на CPU и GPU.....105

17 Показатель точности распознавания базовой и новой моделей сверточных нейронных сетей при различных наборов данных .... 106

Приложение А Фрагменты программного кода

Листинг А.1 Файл analize_model.py import logging import sys import keras.layers.convolutional import keras.layers.normalization from keras import backend as К 5 from keras.models import load_model

import seaborn as sns sns.set_style("whitegrid") import matplotlib.pyplot as pit import operator from functools import reduce 10 import numpy as np import yaml import imp

from run_training import make_paths_absolute import os 15 import pprint

import scipy.misc import scipy.stats import glob

logging.basicConfig(format='%(asctime)s %(levelname)s %(message) s ' ,

20 level=logging.DEBUG ,

stream= sys.stdout) from msthesis_utils import make_mosaic def get_activations(model , layer_index , X_batch) :

"""Get activation of one layer for one input.""" 25 get_activations = K. function([model.layers [0] .input , K. learning_phase ()] ,

[model.layers[layer_index].

output , ] )

activations = get_activations([X_batch , 0]) return activations def show_conv_act_distrib(model, X, show_feature_maps = False) : """Show the distribution of convolutional layers for one input . " "" 30 X_train = np.array([X]) layer_index = 0 activations_by_layer = []

40

45

50

55

60

labels = []

for layer_index in range(len(model.layers)):

act = get_activations(model, layer_index , X_train) [0] if show_feature_maps:

scipy.misc.imshow(X_train [0]) mosaik = make_mosaic(act[0], 8, 4) scipy.misc.imshow(mosaik) data = act [0].flatten()

if isinstance(model.layers[layer_index],

keras.layers.convolutional.Conv2D): print("\tlayer {}: len(data)={}".format(layer_index, len(data)))

activations_by_layer.append(data) labels.append(layer_index) layer_index += 1 # Activations

for label, fw in enumerate(activations_by_layer):

print("99°/0 filter weight interval of layer {} : [{:.2f>, {: -2f>] »

.format(label, np.percentile (fw , 0.5), np.percentile (fw, 99.5)))

f, axl = pit.subplots(1, 1)

p = sns.violinplot(data=activations_by_layer, orient=Mv",

palette = sns.color_palette(palette ="RdBu" , n_colors=l), ax=axl) p.tick_params(labelsize=16) axl.set_xticklabels(labels)

axl.set_title('Convolution activations by layer') sns.pit. show ()

def show_conv_weight_dist(model, small_thres=10**-6):

"""Show the distribution of conv weights of model."""

layer_index = 0

f ilter_weights = []

bias_weights = []

filter_weight_ranges = []

labels = []

for layer in model.layers:

if not isinstance(layer, keras.layers.convolutional. Conv2D) :

layer_index += 1 cont inue weights = layer.get_weights ()

75

80

85

90

95

100

# Filter

printC'-Q: O filter weights in -Qth layer" .format(weights [0] .shape ,

reduce(operator.mul , weights [0] .shape , 1), layer_index))

#Measure distribution (replacement by 1x1 filters) ranges = []

w, h, range_i, range_j = weights [0] .shape if w > 1 or h > 1:

for i in range (range_i) : # one filter, but different channeI

for j in range(range_j): # different filters elements = weights [0] [: , i, j].flatten() ranges.append(elements.max() - elements.min()) ranges = np.array(ranges) filter_weight_ranges.append(ranges)

# measure distribution data = weights [0] .flatten() labels.append(layer_index) fiIter_weights.append(data)

data_small = np.array([el for el in data if abs(el) < small_thres])

print("< {}: {}".format(small_thres, len(data_small)))

# Bias

if len(weights) > 1:

print (11 {}: -[} bias weights in -Qth layer" .format(weights [1] .shape ,

reduce(operator.mul , weights [1] .shape , 1), layer_index)) data = weights [1] .flatten () bias_weights.append(data)

data_small = np.array([el for el in data if abs(el) < small_thres])

print("< {}: {>".format(small_thres, len(data_small)

))

else :

print("No bias in layer {>".format(layer_index)) layer_index += 1

labels = [1, 3, 5, 7, 9, 11, 13, 15] # baseline

# Filter weight ranges

115

120

125

130

135

f, axl = pit.subplots(1, 1)

p = sns.violinplot(data=filter_weight_ranges, orient=Mv",

palette = sns.color_palette(palette ="RdBu"

, n_colors = 1) ,

ax=axl)

p.tick_params(labelsize=16) p.set_xlabel('Layer', fontsize=20) p.set_ylabel('Weight range', fontsize=20) axl.set_xticklabels(labels)

axl.set_title('Filter weight ranges by layer') sns . pit . show ()

#Filter weights

for label, fw in enumerate(filter_weights):

print("99°/0 filter weight interval of layer {} : [{:.2f>, {: -2f>] »

.format(label, np.percentile (fw , 0.5), np.percentile (fw, 99.5))) f, axl = pit.subplots(1, 1)

p = sns.violinplot(data=filter_weights, orient=Mv",

palette = sns.color_palette(palette ="RdBu"

, n_colors = 1) ,

ax=axl)

p.tick_params(labelsize=16) p.set_xlabel('Layer', fontsize=20) axl.set_xticklabels(labels)

axl.set_title('Filter weight distribution by layer') sns . pit . show () # Bias weights

for label, fw in enumerate(bias_weights):

print("99°/0 bias weight interval of layer {} : [{:.2f>, {: -2f>] »

.format(label, np.percentile (fw , 0.5), np.percentile (fw, 99.5)))

f, axl = pit.subplots(1, 1)

p = sns.violinplot(data = bias_weights [:] , orient = Mv",

palette = sns.color_palette(palette ="RdBu"

, n_colors = 1) ,

ax=axl)

p.tick_params(labelsize=16) p.set_xlabel('Layer', fontsize=20) axl.set_xticklabels(labels [:])

150

155

160

165

170

175

axl.set_title('Bias weight distribution by layer') sns . pit . show ()

def show_batchnorm_weight_dist(model):

"""Show the distribution of batch norm weighs for one model.

#analyze

gamma_we ights = [] beta_weights = [] layer_index = 0 labels = []

for layer in model.layers:

if isinstance(layer, keras.layers.normalization.

BatchNormalization) :

labels.append(layer_index) weights = layer.get_weights() data = weights [0] .flatten() gamma_weights.append(data) data = weights [1] .flatten() beta_weights.append(data) layer_index += 1 labels = [2, 4, 6, 8, 10, 12, 14, 16] # baseline

# Gamma weights

if len(gamma_weights) > 0:

for label, fw in zip(labels, gamma_weights):

print("99% gamma interval of layer {} : [{:.2f>, {: . 2

f>] 11

f P

.format(label ,

np.percentile (fw , 0.5), np.percentile (fw , 99.5))) axl = pit.subplots (1 , 1)

: sns.violinplot(data = gamma_weights , orient = "v" ,

palette = sns.color_palette(palette:

RdBu 1

ax=axl)

p.tick_params(labelsize=16) p.set_xlabel(,Layer', fontsize=20) axl.set_xticklabels(labels)

axl.set_title('Gamma distribution by layer') sns . pit . show ()

190

195

200

205

210

215

# beta weights

if len(beta_weights) > 0:

for label, fw in zip(labels, beta_weights):

print ("99°/0 beta interval of layer {}: [{:.2f>, {:.2f

>] 11

RdBu1

.format(label ,

np.percentile (fw , 0.5), np.percentile(fw , 99.5))) f, axl = pit.subplots(1, 1)

p = sns.violinplot(data=beta_weights, orient="v",

palette = sns.color_palette(palette = "

n_colors = 1),

ax=axl)

p.tick_params(labelsize=16) p.set_xlabel('Layer', fontsize=20) axl . set_xticklabels(labels)

axl.set_title('Beta distribution by layer') sns . pit . show ()

def main(config, data_module, model_path, image_fname)

......Run analysis .......

model = load_model(model_path)

print ("## Activation analyzation 11) if image_fname is not None:

image = scipy.misc.imread(image_fname) else :

data = data_module.load_data(config) X_train = data [ 'x_train'] X_test = data['x_test ']

# y_train = data['y_train']

# y_test = data ['y_test']

X_train = data_module.preprocess(X_train) X_test = data_module.preprocess(X_test) image = X_train[0]

print("## Weight analyzation") show_conv_weight_dist(model) print("## BN analyzation") show_batchnorm_weight_dist(model)

230

235

240

245

250

255

def get_parser():

......Get parser object for script xy.py .......

from argparse import ArgumentParser, ArgumentDefauItsHelpFormatter parser = ArgumentParser(description^ doc ,

formatter_class= ArgumentDefauItsHelpFormatter) parser.add_argument("-f", "--file " ,

dest="filename", help="Experiment yaml file", required=True, metavar="FILE") parser.add_argument("--model",

dest="model_path", help="Model. h5 file", metavar="FILE") parser.add_argument("-- image",

dest="image_fname", help="A single image", metavar^"FILE") return parser

if __name__ == "__main__":

args = get_parser().parse_args()

# Read YAML experiment definition file with open(args.filename , 'r') as stream:

config = yaml.load(stream)

# Make paths absolute

config = make_paths_absolute(os.path.dirname(args.filename)

config)

# Print experiment file

pp = pprint.PrettyPrinter(indent=4) pp.pprint(config)

# Load data module

dpath = config['dataset']['script_path'] sys.path.insert(1, os.path.dirname(dpath)) data = imp.load_source('data', config ['dataset'][' script_path'])

# Load model

270

if args.model_path is not None:

model_path = args.model_path else :

artifacts_path = config['train']['art ifacts_path'] model_path = os.path.basename(config ['train'][ ' artifacts_path ' ])

model_paths = glob.glob("{>/*.h5".format(art ifacts_path)

)

model_paths = [m for m in model_paths if "_chk.h5" not

in m]

model_path = model_paths[0] logging.info("Take {}" .format(model_path)) main(config, data, model_path, args.image_fname)

Приложение Б Акт о внедрении результатов диссертационной работы

Т&1

ÍGROUP

DA LiNH VUC -MOT NKMTIN

T&T GROUP CORPORATION JOINT STOCK COMPANY

№ 24/CV - GD

THE SOCIALIST REPUBLIC OF VIET NAM Independence - Freedom - Happiness

Hanoi, February 20, 2022

ACT

On the use of theoretical and practical results of Nguyen Van Trong's dissertation

work "Development of aerial objcct recognition algorithms based on neural networks with a hierarchical classifier", submitted for the degree of Candidate of Technical Sciences, in the educational process at the Department of Integrated

Cybersystems of MIPT

This act confirms that the results of Nguyen Van Trong's dissertation research on the topic "Development of an algorithm for recognizing aerial survey objects based on neural networks based on a hierarchical classifier" were obtained and taken into account when developing technical solutions for a unified intelligent control system and automation of disaster forecasting processes in the management of the most important civil infrastructure facilities. In particular, the following research results were applied:

- an aerial object recognition algorithm based on neural networks with a hierarchical classifier;

- a hybrid deep learning network based on CNN to improve the safety, efficiency, and accuracy of the devices;

- program for recognition of objects in aerial images based on a convolutional neural network.

The main advantage of the proposed methods is that they can detect and classify objects in real time while being computationally less expensive and superior in performance when compared with traditional methods.

Generamjrector

CÔNG TV CÓ PUAN TAP IKIAN T&T

2A Pham Su Manh, Q. Moan Kicm, Hà Nói

I Tel: [phone] | Fax: [phone]

ttgroup.com.vn

T&Tgroup

DA LiNH VUC - MÖT NIEM TIN

АКЦИОНЕРНОЕ ОБЩЕСТВО T&T ГРУПП КОМПАНИИ

Социалистическая республика Вьетнам Независимость - Свобода - Счастье

№ 24/CV - GD

Ханой, 20 Апреля 2022 года

АКТ

Об использовании теоретических и практических результатов диссертационной работы Нгуен Ван Чонга «Разработка алгоритмов распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим классификатором», представленной на соискание ученой степени кандидата технических наук, в учебном процессе на кафедре

Настоящим актом подтверждаем, что результаты диссертационного исследования Нгуен Ван Чонга на тему «Разработка алгоритма распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим классификатором» были получены и учтены при разработке технических решений для единой интеллектуальной системы управления и автоматизации процессов прогнозирования стихийными бедствиями в управлении важнейшими объектами гражданской инфраструктуры. В частности, применены следующие результаты исследований:

- алгоритм распознавания объектов воздушной съемки на основе нейронных сетей с иерархическим классификатором;

- гибридная сеть глубокого обучения на основе CNN для повышения безопасности, эффективности и точности устройств;

- программа распознавания объектов на аэроснимках на основе свёрточной нейронной сети.

Основное преимущество предлагаемых методов заключается в том, что они могут обнаруживать и классифицировать объекты в режиме реального времени, при этом они менее затратны в вычислительном отношении и обладают большей производительностью по сравнению с традиционными методами.

Инфокоммуникациоиых сетей и систем» МФТИ

I

CÖNG TY CO PUAN ТАР DOÄN T&T

2А Pham SU Manh. 0. Hoan Kiem. На NM | Tel: *84 24 7308 1616 | Fax: *B4 24 3972 1775

ttgroup.com.vn

Приложение В

Свидетельство о государственной регистрации программ для ЭВМ