Высокоэффективные алгоритмы синтеза трехмерных ландшафтов на основе семантической обработки спутниковых данных тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Тюрин Александр Александрович

• Тюрин Александр Александрович
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Тюрин Александр Александрович

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ ПРОБЛЕМЫ СИНТЕЗА РЕАЛЬНЫХ ЛАНДШАФТОВ НА ОСНОВЕ СПУТНИКОВЫХ ДАННЫХ

1.1. Анализ предметной области моделирования реальных ландшафтов

1.2. Теоретические основы представления геопространственных данных

1.3. Анализ алгоритмов и методов анализа и обработки геопространственных данных

1.3.1. Анализ методов сегментации растровых спутниковых изображений

1.3.2. Анализ геометрических алгоритмов обработки векторных данных

1.4. Сравнительный анализ методов процедурной генерации графических объектов

1.5. Современные подходы к моделированию реальных ландшафтов

1.5.1. Основные проблемы моделирования реальных ландшафтов

1.5.2. Анализ способов представления геометрической сетки трехмерных ландшафтов

1.5.3. Сравнение методик уровней детализации ландшафтов

1.6. Цель и задачи диссертационной работы

Выводы

ГЛАВА 2. ИССЛЕДОВАНИЕ И РАЗРАБОТКА АЛГОРИТМОВ СЕМАНТИЧЕСКОЙ ОБРАБОТКИ И ВЕКТОРНОЙ СЕГМЕНТАЦИИ СПУТНИКОВЫХ ИЗОБРАЖЕНИЙ

2.1. Формализация задачи и критерии эффективного синтеза трехмерных ландшафтов на основе семантической обработки спутниковых данных

2.2. Выбор модели машинного обучения для решения задачи семантической обработки спутникового изображения

2.3. Разработка методики адаптации модели сверточной нейронной сети

2.4. Разработка комплексного алгоритма семантической обработки спутниковых изображений

2.5. Разработка алгоритма векторной сегментации семантических данных

спутниковых изображений

Выводы

ГЛАВА 3. РАЗРАБОТКА АЛГОРИТМОВ СИНТЕЗА ТРЕХМЕРНЫХ МОДЕЛЕЙ ЛАНДШАФТОВ

3.1. Общая схема синтеза трехмерных моделей ландшафтов

3.2. Разработка структуры хранения данных ландшафтов

3.3. Разработка алгоритма импорта данных ландшафтов

3.4. Разработка алгоритма формирования трехмерной геометрической сетки ландшафтов

3.5. Разработка алгоритмов генерации городских сцен на основе дорожной сети

3.5.1. Разработка алгоритма генерации городских кварталов на основе дорожной сети

3.5.2. Разработка алгоритма генерации данных о типах застройки

3.5.3. Разработка алгоритма расстановки моделей городских объектов

3.6. Разработка архитектуры программно-алгоритмического обеспечения синтеза ландшафтов

3.6.1. Разработка функциональной схемы программно-алгоритмического обеспечения синтеза ландшафтов

3.6.2. Декомпозиция архитектуры программно-алгоритмического обеспечения синтеза ландшафтов

3.6.3. Разработка интерфейсов программно-алгоритмического обеспечения синтеза ландшафтов

Выводы

ГЛАВА 4. ПРАКТИЧЕСКИЕ АСПЕКТЫ РЕАЛИЗАЦИИ, ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ РАЗРАБОТАННЫХ АЛГОРИТМОВ

4.1. Обучение нейросетевых моделей семантической обработки спутниковых изображений

4.1.1. Адаптация нейросетевой архитектуры и-Ые!

4.1.2. Разработка структуры данных для обучения и валидации нейросетевых моделей

4.1.3. Разработка методики обучения нейросетевых моделей

4.2. Результаты экспериментальной оценки эффективности семантической обработки спутниковых изображений

4.3. Результаты экспериментальной оценки отклонения синтезированных ландшафтов от исходных данных

4.4. Практические аспекты реализации алгоритмов синтеза трехмерных ландшафтов на основе семантической обработки спутниковых данных

4.4.1. Реализация нейросетевых моделей семантической обработки спутниковых изображений

4.4.2. Реализация программно-алгоритмического обеспечения синтеза ландшафтов

4.4.3. Реализация алгоритмов генерации городских сцен на основе дорожной сети

Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ 1. АКТЫ ВНЕДРЕНИЯ

ПРИЛОЖЕНИЕ 2. ПОЯСНЯЮЩИЕ СХЕМЫ ПРОГРАММНО-АЛГОРИТМИЧЕСКОГО ОБЕСПЕЧЕНИЯ СИНТЕЗА ЛАНДШАФТОВ

A. Общая UML-диаграмма классов конвейера задач

Б. Общая UML-диаграмма публичного программного интерфейса

B. Общая UML-диаграмма классов Job и Task

ПРИЛОЖЕНИЕ 3. ЛИСТИНГИ ФРАГМЕНТОВ ПРОГРАММ

A. Фрагмент программного кода описания модели машинного обучения с помощью

нейросетевой библиотеки Keras на языке Python

Б. Фрагмент программного кода постобработки результатов нейросетевой модели на языке C++

B. Фрагмент программного кода алгоритма выделения объектов земной поверхности с помощью библиотек OpenCV и GDAL на языке Python

ПРИЛОЖЕНИЕ 4. ДЕМОНСТРАЦИОННЫЕ МАТЕРИАЛЫ МОДЕЛИРОВАНИЯ ТРЕХМЕРНЫХ ЛАНДШАФТОВ В СИСТЕМЕ ВИЗУАЛИЗАЦИИ «СКАЙТЕК» .. 168 ПРИЛОЖЕНИЕ 5. СВЕДЕНИЯ ОБ АПРОБАЦИИ МАТЕРИАЛОВ ДИССЕРТАЦИОННОЙ РАБОТЫ

Введение диссертации (часть автореферата) на тему «Высокоэффективные алгоритмы синтеза трехмерных ландшафтов на основе семантической обработки спутниковых данных»

ВВЕДЕНИЕ

Актуальность работы. Трехмерное моделирование ландшафтов применяется в геоинформационных системах, ситуационном моделировании, решении градостроительных, природоохранных, навигационных и других задач. Потребность в реалистичном отображении окружающего мира увеличивает значимость алгоритмов синтеза трехмерных ландшафтов. Эти алгоритмы предназначены для представления Земли как в планетарном масштабе, так и для воспроизведения локальных участков территорий с высоким уровнем детализации. Одна из областей применения, где актуальны точность и достоверность синтеза моделей ландшафтов - это авиационные тренажеры.

Авиатренажерные технологии существуют с 60-х годов прошлого века и изначально не предусматривали визуализацию внешней обстановки. Активное развитие ЭВМ привело к появлению графических систем визуализации (СВ), которые проецируют внекабинное изображение. Особое внимание СВ уделяется в тактических тренажерных системах. В связи с развитием средств радиоэлектронной борьбы (РЭБ) и противовоздушной обороны (ПВО) на тренажерах отрабатываются навыки управления самолетом и выполнение заданий в различных режимах, включая низколетящий бреющий полет, при котором отключаются радиотехнические средства и навигационное оборудование самолета.

Ландшафт авиатренажера должен содержать реалистичный рельеф, лесные массивы, реки, водоемы, сельскохозяйственные поля, населенные пункты с точностью, соответствующей цифровым картам и спутниковым снимкам. Эффективность выполнения сложных учебных заданий, которые отрабатываются на тактических тренажерах, зависит от точности, узнаваемости, достоверности и реалистичности ландшафта местности, отображаемого в СВ.

Анализ и обработка спутниковых изображений (СИ) позволяют выделить характерные признаки, которые могут использоваться для построения графических объектов ландшафта. Таким образом, синтезируемая информация модели основана на спутниковых снимках местности, а объекты ландшафта в некотором приближении имеют сходство и соответствующее географическое расположение с реальными объектами.

Общие принципы анализа и обработки спутниковых данных содержатся в работах таких ученых, как Дж. Чен [22], Р. Гонсалес, Р. Вудс [25], С. Салех [26], А. Джейн [28], В.К. Злобин, В.В. Еремеев [71], А.Е. Кузнецов [72], Н.А. Егошкин, А.Э. Москвитин [73] и других.

Алгоритмы распознавания образов на изображениях на основе машинного обучения изложены в работах Я. Лекуна [35], А. Крижевского [29], В. И. Игловикова [32], М. Фишлера [24], О. Роннебергера, П. Фишера, Т. Брокса [87], А.В. Хамухина [36], А.С. Малистова [37] и многих других.

Вопросами генерации графических объектов занимались К. Перлин [52], Д. Эберт [48], М.Г. Меженин [46], Е.А. Юсов [47], Д. Луебке [49], Н. Шейкер [50], Д. Келли [56], Х. МакКейб [57] и другие.

Разработкой алгоритмов построения трехмерной модели земной поверхности занимались такие ученые, как Э. Брунетон [11], П. Коззи, К. Ринг [59], А.Ю. Бобков [45], А. Дмитриевич [60], К. Эриксон [66], П. Ю. Тимохин, М.В. Михайлюк [67] и другие.

В настоящее время широко применяются два основных подхода к синтезу трехмерных ландшафтов. Первый подход основан на методах процедурной генерации графических псевдослучайных объектов, которые обладают высокой детализацией, однако не обеспечивают достоверный ландшафт, отображающий реальные объекты в некотором приближении. Второй подход представляет собой наложение спутниковых снимков на трехмерную модель, что обеспечивает высокую реалистичность, однако характеризуется недостаточной детализацией. Кроме того, спутниковые снимки зависят от различных метеоусловий, времени года, облачности и положения солнца, что приводит к нежелательным эффектам при моделировании протяженных местностей. На сегодняшний день недостаточно исследован вопрос синтеза достоверных и протяженных ландшафтов с высокой точностью приближения на основе семантической обработки СИ. Семантическая обработка СИ - это процесс разделения СИ на отдельные множества пикселей, соответствующие классу поверхности ландшафта. Ключевая особенность заключается в предварительном этапе анализа спутниковых данных, в результате которого выделяются геометрические формы объектов земной поверхности, на основе которых синтезируется модель ландшафта.

В связи с вышесказанным актуальной является проблема высокой сложности формирования реальных трехмерных ландшафтов и отсутствия комплексных и специализированных алгоритмов синтеза ландшафтов на основе семантической обработки спутниковых данных. Существующие алгоритмы синтеза трехмерных ландшафтов в совокупности не обладают достаточной точностью, достоверностью и детализацией.

Объектом исследования в данной работе является система визуализации для авиатренажерных комплексов, а предметом исследования — алгоритмы, позволяющие синтезировать трехмерные ландшафты на основе спутниковых данных.

Исходя из анализа существующих в данной области проблем, сформулированы следующие цели и задачи работы.

Целью диссертации является повышение эффективности системы визуализации авиатренажерных комплексов путем синтеза достоверных и протяженных трехмерных ландшафтов на основе обработки спутниковых данных.

Для достижения цели в работе необходимо решить следующие задачи:

— исследовать современную теоретическую основу моделирования реальных ландшафтов;

— разработать формализованное представление задач диссертационной работы и критериев оценки точности и достоверности трехмерных ландшафтов;

— разработать комплексный алгоритм семантической обработки СИ произвольного размера;

— разработать алгоритм векторной сегментации семантических данных для выделения геометрических форм близко расположенных объектов;

— разработать алгоритм импорта исходных спутниковых данных в базу данных ландшафтов;

— разработать алгоритм формирования трехмерной геометрической сетки ландшафтов;

— для практической оценки эффективности разработанных алгоритмов провести экспериментальные исследования их возможностей;

— внедрить разработанные алгоритмы в процесс разработки геоинформационных ресурсов СВ авиатренажерных комплексов.

Диссертационная работа соответствует специальности 05.13.01 «Системный анализ, управление и обработка информации (технические системы)», так как в работе целенаправленно и системно решаются проблемы анализа и обработки спутниковых данных с целью повышения эффективности СВ авиатренажерных комплексов. Теоретические и прикладные исследования ориентированы на создание достоверного и протяженного ландшафта, удовлетворяющего требованиям, предъявляемым к тренажерным системам, с использованием новых разработанных автором диссертации алгоритмов.

Методы исследования. Поставленные задачи решались путём теоретических и экспериментальных исследований. Теоретическую и методологическую базу исследования составили теория и методы дискретной математики, теория и методы линейной алгебры, теория алгоритмов, методы обработки цифровых сигналов-изображений, методы машинного обучения (МО).

Научная новизна работы состоит в разработке совокупности научно обоснованных технических решений, высокоэффективных алгоритмов, направленных на синтез сложных ландшафтов, обладающих высокой точностью, достоверностью и детализацией. Под высокой эффективностью понимается способность обеспечивать синтез непрерывных и протяженных ландшафтов планетарного масштаба с возможностью доступа к любой точке земного шара в рамках одного непрерывного сеанса.

В процессе исследований получены следующие научные результаты.

1. На основе проведённого анализа формализована задача синтеза трехмерных ландшафтов, аналитически определены критерии точности и достоверности воспроизведения ландшафтов.

2. Предложен комплексный алгоритм семантической обработки СИ произвольного размера на основе сверточной нейронной сети и-Ые^ показавший ^1-меру: 89,65% для сельскохозяйственных полей для СИ с пространственным разрешением 9,519,1 м/пикс; 90,76% для лесных массивов для СИ с пространственным разрешением 2,4-9,5 м/пикс; 77,67% для городских зданий для СИ с пространственным разрешением 1,2 м/пикс. Экспериментальные исследования показали повышение ^1-меры до 5,5% в зонах стыковки фрагментов СИ, это оказалось возможным в результате применения нейросетевой модели в составе

комплексного алгоритма.

3. Разработан алгоритм векторной сегментации семантических данных СИ, повышающий идентификацию и различимость близко расположенных объектов.

4. Разработан алгоритм импорта спутниковых данных в базу данных ландшафтов. Экспериментальные оценки показали, что среднее отклонение значений при импорте данных составляет менее 1%.

5. Предложен алгоритм формирования трехмерной геометрической сетки ландшафтов с численной аппроксимацией неровности земной поверхности относительно эллипсоида.

Практическая значимость работы состоит в следующих достижениях.

1. Комплексный алгоритм семантической обработки СИ на основе нейросетевой модели позволяет построить растровые маски объектов со средней мерой 85,34%. СИ может быть произвольного размера, проблемы нейросетевой обработки решаются за счет постобработки данных.

2. Алгоритм векторной сегментации семантических данных позволяет собрать уникальные геометрические контуры отдельных объектов и повысить различимость близко расположенных объектов.

3. Разработанные алгоритмы импорта и формирования трехмерной геометрической сетки ландшафта обеспечивают эффективную структуру геоинформационной БД со средним отклонением по сетке высот 2,99 метров (в 90% случаев менее 6,53 метров), что в относительных величинах составляет в среднем 0,36% (в 90% случаев менее 0,74%);

4. Разработанные алгоритмы внедрены в процесс подготовки геоинформационных ресурсов СВ «Скайтек» в виде программно-алгоритмического обеспечения, что позволило повысить эффективность авиатренажерных систем. СВ «Скайтек» применяется в процедурном тренажере самолета ДА-42Т, ИЯУС.791491.048, г. Краснодар.

Результаты исследования доведены до конкретных алгоритмов и программно-

алгоритмического обеспечения.

Достоверность результатов работы подтверждена экспериментальными

оценками и моделированием, результатами экспериментальных исследований и

испытаний, опытом эксплуатации на отечественных и зарубежных авиационно-

тренировочных центрах тренажерных комплексов на основе СВ «Скайтек», разработанной на основе теоретических и технических идей данной работы.

Личный вклад автора. Все выносимые на защиту научные положения в рамках диссертационной работы, теоретические и экспериментальные исследования и разработки выполнены автором лично. Автор диссертации активно участвовал во внедрении результатов работы, внеся значительный вклад в разработку СВ «Скайтек».

Автор диссертации принимал непосредственное участие в испытаниях и апробации результатов диссертационных исследований.

Реализация полученных результатов. Все работы по программной реализации предложенных в работе алгоритмов проводились под руководством или при непосредственном участии автора.

В результате проведённых системных анализов и исследований автора получены и выносятся на защиту следующие основные научные положения:

— формализованное представление задачи и критерии эффективности синтеза трехмерных ландшафтов на основе семантической обработки спутниковых данных;

— комплексный алгоритм семантической обработки СИ произвольного размера на основе сверточной нейронной сети и-^гХ, показавший ^1-меру: 89,65% для сельскохозяйственных полей; 90,76% для лесных массивов; 77,67% для городских зданий;

— алгоритм векторной сегментации семантических данных СИ, разделяющий близко расположенные объекты на отдельные экземпляры;

— алгоритм импорта данных ландшафтов, обеспечивающий трансформацию дискретных спутниковых данных в структуру хранения ландшафтов со средним отклонением менее 1%;

— алгоритм формирования трехмерной геометрической сетки ландшафтов с численной аппроксимацией неровности земной поверхности относительно эллипсоида;

— результаты внедрения разработанного программно-алгоритмического обеспечения в СВ «Скайтек», которое позволило синтезировать ландшафты с общей точностью семантической обработки выше 85%.

Апробация работы. Основные результаты работы докладывались и

л и т~\ о о о о

обсуждались на: 23-и Всероссийской межвузовской научно-техническои конференции студентов и аспирантов «Микроэлектроника и информатика - 2016», МИЭТ, Москва, 2016; 9-й Всероссийской межвузовской научно-технической конференции «Актуальные проблемы информатизации в науке, образовании и экономике - 2016», МИЭТ, Москва, 2016; 10-й Всероссийской межвузовской научно-технической конференции «Актуальные проблемы информатизации в науке, образовании и экономике - 2017», МИЭТ, Москва, 2016; II Всероссийском научном форуме «Наука будущего - наука молодых», КФУ, Казань, 2017; «25-й Всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика - 2018», МИЭТ, Москва, 2018, Международной конференции «IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus) - 2019», МИЭТ, Москва, 2019; Международной конференции «IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus) - 2020», МИЭТ, Москва, 2020 и других конференциях.

По теме диссертации опубликовано 16 научных работ. Из них в ведущих рецензируемых журналах, входящих в перечень, утвержденный ВАК - 7, тезисов докладов всероссийский и международных конференций - 7. Без соавторов опубликовано 6 работ.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и приложений. Объем основного текста диссертации - 134 страницы. В работе содержится 81 рисунок и 22 таблицы. Список литературы содержит 122 наименования.

Во введении обосновывается актуальность темы исследования, формулируются цели и задачи работы, перечисляются элементы научной новизны и практической значимости, дается краткое содержание глав работы.

В первой главе проводится анализ современного состояния проблемы синтеза реальных ландшафтов на основе спутниковых данных, подтверждается актуальность диссертационной работы. Рассмотрены теоретические основы представления геопространственных данных. На основе проведенного исследования сделан вывод об

актуальности разработки алгоритмов комплексных и узкоспециализированных семантической обработки и векторной сегментации СИ для достижения высоких результатов в предметной области. Проведен сравнительный анализ методов процедурной генерации графических объектов. Исследованы современные подходы к моделированию реальных ландшафтов. Определены цели и задачи работы.

Вторая глава посвящена формализации задачи диссертационной работы, а также выбору модели машинного обучения для решения задачи семантической обработки СИ. Разработана методика адаптации модели сверточной нейронной сети. Разработан комплексный алгоритм семантической обработки спутникового изображения на основе сверточной нейронной сети. Предложен алгоритм векторной сегментации семантических данных спутникового изображения.

В третьей главе рассмотрены вопросы, связанные с формированием трехмерных моделей на основе обработанных СИ, разработке алгоритмов синтеза трехмерных ландшафтов. Предложена общая схема синтеза трехмерных ландшафтов. Разработана структура хранения данных ландшафтов. Разработан алгоритм импорта данных ландшафтов. Разработан алгоритм формирования трехмерной геометрической сетки ландшафтов. Разработаны алгоритмы генерации городских сцен на основе дорожной сети. Разработана архитектура программно-алгоритмического обеспечения синтеза ландшафтов.

В четвертой главе рассматриваются практические аспекты реализации и проводится экспериментальная оценка разработанных алгоритмов. Рассматриваются детали обучения нейросетевых моделей семантической обработки спутникового изображения. На основе результатов экспериментального исследования проведена оценка эффективности семантической обработки и синтеза ландшафтов.

В заключении сформулированы основные результаты работы.

Приложения содержат акты о внедрении проведенных в диссертации исследований (приложение 1), поясняющие схемы программно-алгоритмического обеспечения синтеза ландшафтов (приложение 2), листинги фрагментов программ (приложение 3), демонстрационные материалы моделирования трехмерных ландшафтов в системе визуализации «Скайтек» (приложение 4), сведения об апробации материалов диссертационной работы (приложения 5).

ГЛАВА 1. АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ ПРОБЛЕМЫ СИНТЕЗА РЕАЛЬНЫХ ЛАНДШАФТОВ НА ОСНОВЕ СПУТНИКОВЫХ ДАННЫХ

1.1. Анализ предметной области моделирования реальных ландшафтов

Подготовка пилотов на авиационном тренажёре - один из важнейших элементов обеспечения безопасной эксплуатации воздушного судна (ВС). Она позволяет минимизировать негативное влияние человеческого фактора, то есть позволяет свести к минимуму возможность ошибочных действий экипажа ВС. Актуальность тренажерной подготовки имеет устойчивую тенденцию к росту в связи с тем, что человеческий фактор продолжает оставаться основной причиной авиационных происшествий [1].

В настоящее время авиационный тренажер представляет собой аппаратно-программный комплекс, в котором имитируется динамика полёта и работа систем ВС с помощью специальных моделей, реализованных в программном обеспечении вычислительных компонентов [2].

Себестоимость одного летного часа на любом тренажере в десятки раз меньше, чем себестоимость одного летного часа на реальном самолете (несмотря на высокую стоимость современных тренажеров, приближающуюся к стоимости самого ВС) [2].

Активное развитие отечественных авиатренажерных технологий началось в 60-е годы в Центральном аэрогидродинамическом институте им. Н. Е. Жуковского (ЦАГИ). В 1976-1980 гг. промышленность СССР освоила выпуск целого ряда тренажеров, на которых пилоты закрепляли навыки в самолетовождении с использованием современных радиотехнических и электронных средств, автоматизированных систем. К концу 70-х годов были разработаны тренажеры, имитирующие условия взлета, набора высоты, посадки самолета, а также первые тренажеры с цифровыми вычислителями и подвижной (с тремя степенями свободы) кабиной экипажа [3]. Данные тренажеры были предназначены для приобретения навыков пилотирования и позволяли успешно готовить экипажи к эксплуатации летательных аппаратов до начала регулярных полетов.

В начале 90-х годов в связи со стремительным развитием ЭВМ разрабатываются первые тренажеры на базе персональных компьютеров [4]. Появляются графические системы визуализации (СВ), которые проецируют

внекабинные изображения с помощью проекторов на сферических или цилиндрических экранах. Бурный рост вычислительных мощностей ЭВМ позволил довести современные авиационные тренажеры до такого уровня развития, что подготовка пилотов на тренажерах стала более эффективной, чем подготовка на реальном ВС (за счет высокой интенсивности подготовки). В настоящий момент активными темпами выполняется модернизация отечественного тренажеростроения на основе новейших технологий.

Развитие СВ связано с тем, что реалистичность предъявляемой наглядной информации играет в обучающих системах весьма существенную роль. Учитывая, что большая часть информации воспринимается человеком через зрительный канал, точность воспроизведения изображения исходных объектов является обязательным условием процесса обучения. Трехмерные воспроизводящие системы существенно повышают адекватность, информативность и доступность восприятия в процессе обучения [5].

С когнитивной точки зрения наблюдатель оценивает правдоподобие изображения, используя свой накопленный опыт, и с учетом имеющихся знаний получает представление о его пространственных свойствах [6]. Важность качества трехмерного изображения весьма высока в тренажерных системах, в которых принятие решений осуществляется на основе наблюдаемой внешней обстановки. СВ в таких тренажерах должна воспроизводить изображения наблюдаемых объектов с максимальной точностью. Точность воспроизведения должна быть, по крайней мере, пространственной. Важное место занимает отсутствие или минимизация геометрических искажений. Наиболее актуальны данные требования в тренажерных системах, в которых отрабатываются навыки маневрирования относительно близко расположенных объектов (в которых минимальные расстояния до наблюдаемых объектов составляют всего несколько метров).

На тренажёре можно без ограничений выполнять отработку действий в нештатных ситуациях, некоторые из которых либо опасны для отработки в реальном полете, либо вообще их отработка в реальном полёте запрещена [7].

В военной авиации авиационные тренажеры представляют особую ценность, так как они позволяют практически без ограничений имитировать реальную боевую обстановку, которую очень трудно воспроизвести в мирное время в ходе учений.

Существуют целые группы тактических тренажеров, предназначенных для отработки групповых боевых действий. Они объединены в единую сеть, которая позволяет объединять разнородные тренажеры - авиационные, танковые, артиллерийские и другие [7].

Визуализируемый ландшафт должен достаточно точно отображать наземные объекты и характерные признаки, по которым в некоторых случаях приходится ориентироваться пилоту. В случае выполнения тактических заданий ВС несет вооружение и представляет угрозу для населения. В случае аварий на ВС нельзя катапультироваться вблизи населенных пунктов. Также выполняются специальные комплексы упражнений на тренажере для отработки действий в случае отказа навигационного оборудования и автоматизированных средств управления.

Курсанты летных учебных заведений отрабатывают на тренажере сценарий своего первого полета, прежде чем они выполнят его на реальном ВС. Во время практики курсанты учатся привязываться к реальным ориентирам на маршрутной местности, чтобы в реальных условиях не потеряться при эксплуатации военного самолета.

Для отработки противодействия наземным средствам обнаружения и ПВО для обеспечения малозаметности выполняются низколетящие полеты, при которых часть радиотехнических средств самолета отключается. При выполнении маневров на предельно малой высоте пилот должен чувствовать высоту и большую часть внимания концентрировать на окружающей картине, бегло смотря на приборы. В этом случае особенно важна точность отображения оврагов и горных ущелий.

Возрастающая роль авиатренажерной техники в подготовке пилотов обуславливает усовершенствование СВ. Для выполнения сложных и актуальных задач на авиатренажерах необходимы СВ, способные моделировать трансконтинентальные полеты с высокой степенью достоверности изображения, обеспеченного современной компьютерной графикой. В настоящее время известными отечественными СВ в авиатренажерной области являются «Скайтек», «Unigine» [8] и «Константа-Дизайн» [9], которые продолжают активно развиваться. Данные СВ выполняют широкий спектр задач, связанных с отображением компьютерной графики, однако остаются недостаточно исследованы вопросы подготовки графической трехмерной сцены ландшафта виртуального мира. Состав ландшафтов

перечисленных СВ включает небольшое количество правдоподобных объектов с точностью, соответствующей цифровым картам или фотографиям со спутника. В основном к таким объектам относятся аэродромы и территории полигонов.

В настоящее время широко применяются два основных подхода к синтезу трехмерных ландшафтов (табл. 1.1). Оба подхода обладают существенными ограничениями:

1) Процедурно-генеративный не обеспечивает синтез ландшафтов, достоверно отображающих реальные объекты.

2) При наложении спутниковых снимков изображение вблизи поверхности ландшафтов недостаточно детализировано.

Таблица 1.1 - Достоинства и недостатки подходов к синтезу трехмерных ландшафтов

Подход Достоинства Недостатки Примеры реализации

Процедурно-генеративный Высокое качество. Бесконечная детализация. Отображение псевдослучайных объектов. Значительные вычислительные затраты. Объекты ограничиваются самоподобными структурами. Настройка и подбор параметров сложных графических генераторов. Outerra Anteworld [10]. Proland [11].

Наложение спутниковых снимков на 3D-модель Реалистичное содержание ландшафта. Низкие вычислительные затраты. Хранение значительных объемов спутниковых изображений. Ограниченное разрешение спутниковых снимков. Необходимость атмосферной коррекции изображений. Google Earth [12]. Microsoft Flight Simulator [13].

На сегодняшний день недостаточно исследован вопрос синтеза достоверных и протяженных ландшафтов с высокой точностью приближения на основе семантической обработки спутниковых изображений (СИ). Семантическая обработка СИ - это процесс разделения СИ на отдельные множества пикселей, соответствующие классу поверхности ландшафта. Ключевая особенность данного подхода заключается в предварительном этапе анализа спутниковых данных, в

Список литературы диссертационного исследования кандидат наук Тюрин Александр Александрович, 2021 год

СПИСОК ЛИТЕРАТУРЫ

1. Accident Statistics. Causes of Fatal Accidents by Decade: сайт. // -URL: http://www.planecrashinfo.com/cause.htm (дата обращения: 11.12.2020). -Текст: электронный.

2. Серёгин Г. Н. Авиационные тренажёры — реальный путь к повышению безопасности полётов // Право и безопасность — 2006. — № 3-4. —С. 20-21.

3. Карпова, Л. И., Никитин, Д. А. Тренажеры в отечественной гражданской авиации: история и современность // Научный вестник Московского государственного технического университета гражданской авиации, №142, -2009, -C. 37-41.

4. Транзас - История: сайт. // -URL: http://www.transas.ru/about/history/ (дата обращения: 11.12.2020). -Текст: электронный.

5. Мамросенко К.А. Имитационно-тренажерные и обучающие распределенные системы / Программные продукты и системы, -2008, -№3, -С.32-35.

6. К истории отечественной авиационной психологии / Под. ред. К.К. Платонова - М. Наука, —1981, - 318 с.

7. Ваняхин А. И., Гужвенко Е. И. Тренажеры вертолетов и самолетов // Материалы X Международной научно-практической конференции под ред. А.Г. Ширяева, А.Д. Кувшинковой; Современный технический университет - Том. 1, -2016, -C. 7-10.

8. Unigine 2 - Программная платформа 3D-визуализации в реальном времени для предприятий и индивидуальных разработчиков: сайт. // -URL: https://unigine.com/ (дата обращения: 11.12.2020). -Текст: электронный.

9. Константа-Дизайн - Система визуализации «Радуга-КД»: сайт. // -URL: http://www.cdezign.ru/visual.php (дата обращения: 11.12.2020). -Текст: электронный.

10. Outerra - 3D planetary engine: сайт. // -URL: https://outerra.com/ (дата обращения: 11.12.2020). -Текст: электронный.

11. Proland - A C++/OpenGL library for the real-time realistic rendering of very large and detailed 3D natural scenes on GPU // -URL: https:// https://proland.inrialpes.fr/index.html (дата обращения: 11.12.2020). -Текст: электронный.

12. Google Планета Земля: сайт. // -URL: https://www.google.com/earth/ (дата обращения: 11.12.2020) . -Текст: электронный.

13. Microsoft Flight Simulator for Windows 10: сайт. // -URL: https://www.xbox.com/en-US/games/microsoft-flight-simulator (дата обращения: 11.12.2020). -Текст: электронный.

14. ArcGIS 9. Картографические проекции // by ESRI Environmental Systems Research Institute, Inc. - 2000. -109 c.

15. Miller. J., Gaskins T. Computations on an Ellipsoid for GIS // Computer-Aided Design and Applications, -№6(4), -2009, -pp.575-58.

16. Антонович К. М. Использование спутниковых радионавигационных систем в геодезии // монография : в 2 т. -Т. 1, -М. : Картгеоцентр, 2005.

17. Gis-Lab: Трансформация описания систем координат из формата MapInfo в WKT и PROJ.4 // -URL: https://gis-lab.info/qa/mapinfo_to_wkt_proj4.html simulator (дата обращения: 11.12.2020). -Текст: электронный.

18. Chang K. Introduction to geographic information systems // Boston: McGraw-Hill Higher Education, -2006, -pp.117-122.

19. Maling D. Coordinate systems and map projections for GIS // Geographical Information Systems: Principles and Applications, -№1, -1991, -pp.135-146.

20. Neteler M. Open source GIS: a GRASS GIS approach (Vol. 689) / M.Neteler, H.Mitasova // Springer Science & Business Media, -2013.

21. Ritter, Niles, Ruth M., Borup B., Grissom, Galang G., Haller J., Stephenson G., Covington S. Geotiff format specification, geotiff revision 1.0 // SPOT Image Corp, -2000.

22. Chen J., Liao A., Cao X., Chen L., Chen X., He C. Global land cover mapping at 30 m resolution: A POK-based operational approach // ISPRS Journal of Photogrammetry and Remote Sensing 103, -2015, -pp.7-27.

23. Goodchild M. F. Scale in GIS: An overview // Geomorphology, -№130(1-2), -2011, -pp. 5-9.

24. Fischler M., Firschein O. Readings in computer vision: issues, problem, principles, and paradigms // Elsevier, -2014.

25. Гонсалес Р., Вудс Р. Цифровая обработка изображений // -М.:Техносфера, -2005, -1072 с.

26. Saleh S.A., Kalyankar N.V. Image segmentation by using threshold techniques // arXiv preprint arXiv:1005.4020, -2010.

27. Blayvas, I., Bruckstein, A., Kimmel, R. Efficient computation of adaptive threshold surfaces for image binarization // Pattern Recognition, -2006, -№39(1), -pp.89-101.

28. Jain A. Data clustering: 50 years beyond K-means. // Pattern recognition letters, -2010, -№31(8), -pp. 651-666.

29. Krizhevsky A., Sutskever I., Hinton, G. Imagenet classification with deep convolutional neural networks // Advances in neural information processing systems, -2010, -pp. 10971105.

30. Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин) // Москва, -2011, -121 с.

31. Кафтанников И. Л., Парасич А. В. Проблемы формирования обучающей выборки в задачах машинного обучения // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника, -№16(3), -2016, -С.15-23.

32. Iglovikov, V., Mushinskiy, S., Osin, V. Satellite imagery feature detection using deep convolutional neural network: A kaggle competition // arXiv preprint arXiv:1706.06169, -2017.

33. Van Etten, A., Lindenbaum, D., Bacastow, T. M. Spacenet: A remote sensing dataset and challenge series // arXiv preprint arXiv:1807.01232, -2018.

34. Wu M. et al. Towards accurate high resolution satellite image semantic segmentation // IEEE Access, -№7, -2019, -pp.55609-55619.

35. LeCun Y., Bottou L., Bengio Y., & Haffner P. Gradient-based learning applied to document recognition. // Proceedings of the IEEE, -№86(11), -1998, -pp.2278-2324.

36. Хамухин А.В., Петричкович Я.Я. Принцип семантического сжатия в алгоритмах обработки видеоинформации // M.: «Компания Спутник+», «Естественные и технические науки», -№1, -2015, -с. 82-85.

37. Malistov A., Trushin A. Gradient Boosted Trees with Extrapolation // In 2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA), -2019, -pp. 783-789.

38. Васин Ю. Г., Утешева Т. Ш. Методы вычислительной геометрии в решении задачи повышения эффективности обработки данных в ГИС // Вестник Нижегородского университета им. НИ Лобачевского, - №4(1), -2014, -С. 502-507.

39. Luebke D. A developer's survey of polygonal simplification algorithms // IEEE Computer Graphics and Applications, -2001, -№21(3), -pp. 24-35.

40. Graham R., Yao F. Finding the convex hull of a simple polygon // Journal of Algorithms, -1983, -№4(4), -pp.324-331.

41. Strauss P., Carey R. An object-oriented 3D graphics toolkit // In ACM SIGGRAPH Computer Graphics Vol. 26, ACM, -1992, -№2, -pp.341-349

42. Вайнштейн А. Построение минимального объемлющего параллелограмма // Дискретная математика 2, -1990, -№4, -С.72-81.

43. Haines E. Point in polygon strategies // Graphics gems IV, -1994, -pp.24-26.

44. Скворцов А. В. Построение объединения, пересечения и разности произвольных многоугольников в среднем за линейное время с помощью триангуляции // Вычислительные методы и программирование, -№3, -2002, -С.116-123.

45. Бобков А. Ю. Интерактивная визуализация 3D-данных на виртуальном глобусе в стереоскопических системах: дис. на соискание канд. техн. наук: 05.01.01 -Инженерная геометрия и компьютерная графика / Нижегородский гос. архитектурно-строительный ун-т, -2013, -149 с.

46. Меженин М. Г. Обзор систем процедурной генерации игр // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. -2015, -№1, -С.5-20.

47. Yusov E. А. Photorealistic terrain rendering algorithm based on texture combining managed by local surface features // Вестник ННГУ, -2008, -№2, -pp. 158-165.

48. Ebert D., Musgrave F., Peachey D., Perlin K., Worley S. Texturing and Modeling, Third Edition: A Procedural Approach // The Morgan Kaufmann Series in Computer Graphics 3 edition, -712 p.

49. Luebke D., Reddy M., Cohen J.D., Varshney A., Watson B., Huebner R. Level of detail for 3D graphics // Morgan Kaufmann, -2003.

50. Shaker. N, Tegelius J., Nelson M. Procedural Content Generation in Games Computational Synthesis and Creative Systems, -2016, -237p.

51. L-системы // @valyard Geek Times URL: https://geektimes.ru/post/69989/ (дата обращения: 28.03.2019).

52. Perlin K. Improving noise //ACM transactions on graphics (TOG). - ACM, 2002. - Т. 21. -№. 3. - pp. 681-682.

53. Weisstein E. Voronoi Diagram // MathWorld--A Wolfram Web URL: http://mathworld.wolfram.com/VoronoiDiagram.html (дата обращения: 28.03.2019).

54. Гурьянов К. И. Графы на диаграммах Вороного // Вестник КузГТУ, 2003. -№5, -с. 45.

55. Карабцев С. Н., Стуколов С. В. Построение диаграммы Вороного и определение границ области в методе естественных соседей // ЖВТ. 2008. -№3, -С.65-80.

56. Kelly G., McCabe H. Citygen: An Interactive System for Procedural City Generation // Proceedings of GDTW 2007: The Fifth Annual International Conference in Computer Game Design and Technology. -2007 -pp.8-16.

57. Kelly G., McCabe H. A Survey of Procedural Techniques for City Generation // Institute of Technology Blanchardstown Journal. -2006 -№14 -pp.87-130.

58. Chang F., Dean J., Ghemawat S., Hsieh W., Wallach D., Burrows M., Chandra T., Fikes A., Gruber R. Bigtable: A Distributed Storage System for Structured Data // Proceedings of the 7th Conference on USENIX Symposium on Operating Systems Design and Implementation, -2006, -№7, -pp. 205-218.

59. Cozzi P., Ring K. 3D engine design for virtual globes // AK Peters/CRC Press, -2011

60. Dimitrijevic A. M. et al. Comparison of spherical cube map projections used in planet-sized terrain rendering. // Facta Universitatis, Series: Mathematics and Informatics, -№31(2), -2016, -pp. 259-297.

61. Salemann L. Voxel approach to terrain repositories for modeling and simulation // Патент США № 8458188, 04.06.2013.

62. Losasso F., Hoppe H. Geometry clipmaps: terrain rendering using nested regular grids // In ACM Siggraph, -2004, -pp. 769-776.

63. Akenine-Moller T., Haines E. Real-Time Rendering, Third edition // Wellesley, MA: A K Peters, Ltd., -2008.

64. Rossignac J., Borrel P. Multi-Resolution 3D Approximations for Rendering Complex Scenes // In Modeling in Computer Graphics: Methods and Applications, edited by B. Falcidieno and T. Kunii. Berlin: Springer-Verlag, -1993, -pp. 455-465.

65. Lindstrom P., Koller D., Ribarsky W., Hodges L., Faust N., Turner G. Real-Time, Continuous Level of Detail Rendering of Height Fields // In Proceedings of SIGGRAPH 96, Computer Graphics Proceedings, Annual Conference Series, edited by Holly Rushmeier. Reading, MA: Addison Wesley, -1996, -pp.109-118

66. Erikson C., Manocha D., Baxter W. HLODs for Faster Display of Large Static and Dynamic Environments // In Proceedings of the 2001 Symposium on Interactive 3D Graphics. New York: ACM Press, -2001, -pp. 111-120

67. Тимохин П., Михайлюк М. Сверхбольшие текстуры для высоко реалистичной визуализации виртуальных ландшафтов // Информационные технологии и вычислительные системы, - 2013, - №3, -pp.46-54.

68. Schroeder W., Zarge, J., Lorensen W. Decimation of triangle meshes // In Siggraph Vol. 92, -1992, -№26, -pp. 65-70.

69. Garland M., Heckbert P. Surface simplification using quadric error metrics // In Proceedings of the 24th annual conference on Computer graphics and interactive techniques. ACM Press/Addison-Wesley Publishing Co., -1997, -pp.209-216.

70. Low K., Tan T. Model simplification using vertex-clustering // In Proceedings of the 1997 symposium on Interactive 3D graphic. ACM, -1997, -p.75.

71. Злобин В.К., Еремеев В.В. Обработка аэрокосмических изображений. // -М.:ФИЗМАТЛИТ, -2006. -288с.

72. Кузнецов А. Е. Системы и технологии обработки аэрокосмической информации // Вестник Рязанского государственного радиотехнического университета, -№39(2), -2012, -С.7-14.

73. Еремеев В. В., Егошкин Н. А., Москвитин А. Э. Координатная привязка изображений от геостационарных спутников по контурным точкам диска Земли // Вестник РГРТУ, -№22, -2007, -С. 10-17.

74. Хайкин С. Нейронные сети: полный курс, 2-е издание // Издательский дом Вильямс, -2008.

75. Powers D. M. Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation // arXiv preprint arXiv:2010.16061, -2010.

76. Руководство по критериям оценки самолётных тренажёров ИКАО 9625 // Manual of Criteria for the Qualification of Flight Simulation Training Devices. — 3-е изд. — ИКАО, 2009. — Т. 1. — 664 с. — ISBN Doc 9625 AN/938.

77. Li L. et al. A multiple-feature reuse network to extract buildings from remote sensing imagery //Remote Sensing. - 2018. - Т. 10. - №. 9. -С. 1350.

78. Chen Q. et al. Aerial imagery for roof segmentation: A large-scale dataset towards automatic mapping of buildings //arXiv preprint arXiv:1807.09532. - 2018.

79. Kwok W., Huifang S. Multi-directional interpolation for spatial error concealment // IEEE Transactions on consumer electronics 39.3, -1993, -pp.455-460.

80. Suykens J. A., Vandewalle J. Least squares support vector machine classifiers // Neural processing letters, -№9(3), -1999, -pp.293-300.

81. Jain A. K., Mao J., Mohiuddin K. M. Artificial neural networks: A tutorial // Computer, -№29(3), -1996, -pp.31-44.

82. Романов А. А. Сверточные нейронные сети. // Научные исследования: ключевые проблемы III тысячелетия, -2018, -C. 5-9.

83. Peterson L. E. K-nearest neighbor // Scholarpedia, -№4(2), -2009, -1883p.

84. Hastie T., Rosset S., Zhu J., Zou H. Multi-class adaboost // Statistics and its Interface, -№2(3), -2009, -С.349-360.

85. Hansen M. C., DeFries R. S., Townshend J. R., Sohlberg R. Global land cover classification at 1 km spatial resolution using a classification tree approach // International journal of remote sensing, -№21(6-7), -2000, -C.1331-1364.

86. Емельянов А. В. Анализ методов семантической сегментации изображений на основе нейронных сетей // Математические методы в технике и технологиях-ММТТ, -№12, -2019, -С.195-201.

87. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computerassisted intervention -Springer, Cham, -2015, -pp. 234-241.

88. Раднаев Ч. Б. Оптимизация гиперпараметров сверточной нейронной сети // Молодежь и современные информационные технологии: сборник трудов XV Международной научно-практической конференции студентов, аспирантов и молодых учёных, -Томск -2017, -С. 81-82.

89. Тюрин А.А., Янакова Е.С. Комплексный алгоритм семантической обработки спутниковых изображений // Известия Тульского Государственного Университета. Выпуск 10. -2020. -C. 183-189.

90. A. Tiurin, E. Yanakova, M. Vorobiev, O. Lisov, A. Andrianov An effective algorithm for analysis and processing of satellite images for semantic segmentation // IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus) -2020. -p.2018-2022.

91. Angulo J., Jeulin D. Stochastic watershed segmentation // In ISMM (1), -2007, -pp. 265276.

92. Tiurin, A., Yanakova E., Vorobiev M. Techniques of creation and storage of geo-data resources for a terrain model for aircraft-training complexes // IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus) -2019, -pp.18571860.

93. Тюрин А.А., Янакова Е.С. Эффективные алгоритмы синтеза трехмерных моделей ландшафтов планетарного масштаба // Известия Тульского Государственного Университета. 2020. Выпуск 12. C. 70-76.

94. Ботнев В. А., Устинов С. М. Методика определения расстояния между точкой и линией в геодезии // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление, -2015, -№6, -С.234.

95. Cai G., Chen B. M., Lee T. H. Coordinate systems and transformations. // In Unmanned rotorcraft systems. Springer, London, -2011, -pp. 23-34.

96. Hofmann-Wellenhof B., Lichtenegger H., Collins J. GPS - theory and practice // SpringerVerlag. Section 10.2.1. -1997. -p. 282.

97. Новиков Ф. А. Дискретная математика для программистов // -СПб.: Питер -2004, -452 c.

98. Eberly D. The Minmimal Cycle Basis for a Planar Graph // Geometric Tools, LLC URL: http://www.geometrictools.com/Documentation/MinimalCycleBasis.pdf

99. Бондаренко П.П. К вопросу о верхней оценке числа дополнительных рёбер минимальных вершинных расширений цветных циклов // ПДМ. Приложение, -2013, -№6.

100. Ефимов С. С. Обзор методов распараллеливания алгоритмов решения некоторых задач вычислительной дискретной математики // МСиМ, -2007, -№1 (17).

101. Нурмагомедов А. А. Об асимптотике многочленов, ортогональных на произвольных сетках // Изв. Сарат. ун-та Нов. сер. Сер. Математика. Механика. Информатика, -2008, -№1.

102. Луценко Е.В., Коржаков В.Е. Некоторые проблемы классического кластерного анализа // Вестник Адыгейского государственного университета. Серия 4: Естественно-математические и технические науки, -2011.

103. Тюрин А.А., Янакова Е.С. Методика генерации городских объектов для систем визуализации авиатренажеров [Текст] // Вопросы радиоэлектроники, -2017, -№ 8, -С. 98-102.

104. Тюрин А.А. Разработка программного модуля процедурной генерации городски объектов на основе географических данных // Актуальные проблемы информатизации в науке, образовании и экономике - 2016. 9-я Всероссийская межвузовская научно-техническая конференция: тезисы докладов. -М.:МИЭТ, -C.60.

105. Тюрин А.А. Алгоритм расстановки трехмерных моделей городских объектов для сгенерированных кварталов // Микроэлектроника и информатика - 2018. 25-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: тезисы докладов. -М.:МИЭТ, -2018, -С.146.

106. Тюрин А.А. Алгоритм генерации данных о типах застройки для графической модели городских объектов // Актуальные проблемы информатизации в науке, образовании и экономике - 2017. 10-я Всероссийская межвузовская научно-техническая конференция: тезисы докладов. -М.:МИЭТ, -2017, -С.57.

107. Тюрин А.А. Общий алгоритм процедурной генерации городских объектов на основе географических данных // Материалы научно-практической конференции "Актуальные проблема информатизации в науке, образовании и экономике - 2016". -М:МИЭТ, -С.136-142.

108. Тюрин А.А., Янакова Е.С. Алгоритм генерации городской застройки графической модели ландшафта для системы визуализации авиатренажеров // Вопросы радиоэлектроники, -2018, -№.8, -С.87-93.

109. Тюрин А.А. Автоматизированный комплекс генерации городских 3D-ландшафтов для систем визуализации тренажеров // Сборник тезисов участников форума «Наука будущего - наука молодых» -Казань, 2016. -Том 1, -С.278-280.

110. Тюрин А.А. Программный комплекс подготовки геопространственных данных для системы визуализации авиатренажеров // Микроэлектроника и информатика -2016. 23-я Всероссийская межвузовская научно-техническая конференция студентов и аспира тов: тезисы докладов. -М.:МИЭТ, -2016 -C.229.

111. Van Dyk D., Xiao-Li M. The art of data augmentation // Journal of Computational and Graphical Statistics 10.1, -2001, -pp.1-50.

112. Diederik P. Kingma, Lei Ba J. Adam: a Method for Stochastic Optimization // International Conference on Learning Representations, -2015, -pp.1-13.

113. Li M., Zhang T., Chen Y., Smola A. Efficient mini-batch training for stochastic optimization // In Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining, -2014, -pp. 661-670.

114. Тюрин А.А., Горюнов А.С. Исследование методик организации эффективного взаимодействия двух графических ускорителей с помощью технологий OpenGL и NVIDIA CUDA для обработки геоинформационных данных / // Электронные информационные системы.-2016, -№2 (9), -С.84-92.

115. Borisenko A., Haidl M., Gorlatch S. Using parallel branch-and-bound algorithm on GPUs for optimal design of multi-product batch plants // Вестник ТГТУ. -2015, -№3.

116. Осипов А. Б. Синхронная и асинхронная модели пропускной способности жесткого диска в задаче планирования передачи данных // ОНВ. -2011, -№3 (103).

117. Fabian R. Data-Oriented Design book: сайт // -URL: http://www.dataorienteddesign.com/ (дата обращения: 11.12.2020). -Текст: электронный.

118. Поляков В.С., Поляков С.В., Авдеюк О.А., Наумов В.Ю., Павлова Е.С., Муха Ю.П. Взаимодействие параллельных алгоритмов // ИВД, -2017, -№2 (45).

119. Загребин Г. И. Исследование по геопривязке картографического изображения в геоинформационной системе // Интерэкспо Гео-Сибирь, -2015, -№2.

120. Бычков И. В., Новицкий Ю. А., Ружников Г. М., Хмельнов А. Е. Генерализация площадных объектов векторной карты с использованием алгоритмов обработки триангуляции // ГИАБ, -2009, -№12.

121. Князева Г. В. Методы оптимизации программ компьютерной графики OpenGL // Вестник ВУиТ, -2009, -№14.

122. Хлебников В. В., Юров А. А. Моделирование реалистичных трехмерных сцен в реальном времени // Вестник Тамбовского университета. Серия: Естественные и технические науки, -2010, -№1.

ПРИЛОЖЕНИЕ 1. АКТЫ ВНЕДРЕНИЯ

Акционерное общество

«Уральский завод гражданской авиации»

(АО «УЗГА»)

www.uwca.ru

Адрес: ул. Бахчиванджи, 2 Г, г. Екатеринбург, Россия, 620025 Телефон: [phone] Факс: [phone]

ОКПО: 01128452 ОГРН:1026605766560 ИНН/КПП: 6664013640/668501001

"УТВЕРЖДАЮ" Генеральный директор

АО «УЗГА»

ха В.А.

АКТ

о внедрении результатов диссертационной работьГ'мвршиийлександра Александровича на тему: «Высокоэффективные алгоритмы синтеза трехмерных ландшафтов на основе семантической обработки спутниковых данных» на соискание ученой степени кандидата технических наук по специальности 05.13.01 «Системный анализ, управление и обработка информации (в технических системах)»

Комиссия в составе:

Герасимов Э.В.. начальник ОКБ БРЭО - зам.главного конструктора по БРЭО;

Николаев Е.В., начальник отдела ИУС

составила настоящий акт о том, что результаты диссертационной работы Тюрина A.A. используются в процедурном тренажере самолета ДА-42Т НЯУС.791491.048 (ПТ-ДА-42Т) с системой визуализации «Скайтек» и внедрены на объекте в КВВАУЛ, г. Краснодар-5, ул. Дзержинского, д. 135. Система визуализации «Скайтек» обеспечивает реалистичное отображение ландшафта на различных дальностях отрисовки внекабинного пространства.

Разработанные алгоритмы позволяют анализировать и обрабатывать спутниковые изображения для выделения контуров и сбора уникальной геометрии типовых объектов на земной поверхности с высокой точностью:

— для с/х полей: точность 0,8800; полнота 0,9834; Fl-мера 0,9008;

— для лесных массивов: точность 0,9243; полнота 0.8883; Fl-мера 0.9059;

— для городских объектов: точность 0,7726; полнота 0,7297; Fl-мера 0,7763.

Результаты работы используются при синтезе большого количества объектов

ландшафта для протяженной местности локации авиатренажера с высокой степенью визуального соответствия к реальным данным.

Внедрение результатов работы Тюрина A.A. в виде сформированного трехмерного ландшафта обеспечивает эффективную структуру хранения и гарантирует целостность и точность геоинформационных данных. Среднее отклонение сетки высот ландшафта составляет в среднем 2,99 метров, а в 90% случаев отклонение по сетке высот составляет менее 6,53 метров, что в относительных величинах составляет в среднем 0,36% (в 90% случаев менее 0,74%).

Моделируемый в системе визуализации ландшафт содержит актуальные данные с высоким пространственным разрешением вершинных и текстурных данных.

Результаты диссертационной работы Тюрина A.A. в виде алгоритмов и программ для системы визуализации «Скайтек» способствовали повышению эффективности эксплуатации авиатренажерного комплекса путем повышения точности и достоверности трехмерных ландшафтов на основе обработки спутниковых данных.

зам. главного конструктора по БРЭО

начальник ОКБ БРЭО -

начальник отдела ИУС

Николаев Е.В.

Ж

УТВЕРЖДАЮ Проректор МИЭТ по учебной работе.

д.т.н., профессор

_ И.Г. Игнатова

семТс/Яче 2020г.

ЖУ й-

АКТ ВНЕДРЕНИЯ

результатов диссертационной работы Тюрина Александра Александровича на тему «Высокоэффективные алгоритмы синтеза трехмерных ландшафтов на основе семантической обработки спутниковых данных» на соискание ученой степени кандидата технических наук по специальности 05.13.01 - «Системный анализ, управление и обработка информации (в технических системах)» Результаты диссертационной работы Тюрина A.A., посвященной разработке алгоритмов синтеза трехмерных ландшафтов на основе семантической обработке спутниковых данных, а именно:

— комплексный алгоритм семантической обработки СИ произвольного размера на основе сверточной нейронной сети U-Net;

— алгоритм векторной сегментации семантических данных;

— алгоритм формирования трехмерной геометрической сетки ландшафтов с численной аппроксимацией неровности земной поверхности.

используются в учебном процессе института системной и программной инженерии и информационных технологий (СПИНТех) федерального государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет «Московский институт электронной техники» в лекционных и практических занятиях по дисциплинам: «Визуализация в научных исследованиях». «Сверточные нейросети в компьютерном зрении».

Директор института СПИНТех, д.т.н.. профессор

Ученый секретарь института СПИНТех д.т.н.. профессор

Л.Г. Гагарина

Е.М. Портнов

ПРИЛОЖЕНИЕ 2. ПОЯСНЯЮЩИЕ СХЕМЫ ПРОГРАММНО-АЛГОРИТМИЧЕСКОГО ОБЕСПЕЧЕНИЯ СИНТЕЗА ЛАНДШАФТОВ

А. Общая иМЬ-диаграмма классов конвейера задач

Б. Общая иМЬ-диаграмма публичного программного интерфейса

В. Общая иМЬ-диаграмма классов 1оЬ и Таэк

Upsampl^rask

-task_data ; task_dal3_s

+lwst_to_devica<in &1raarn : CUstream) +e»ecute(in slream : CUsIrEam)

+devlc&_lû_hûsljiiri stream : CLlstream)

ПРИЛОЖЕНИЕ 3. ЛИСТИНГИ ФРАГМЕНТОВ ПРОГРАММ

А. Фрагмент программного кода описания модели машинного обучения с помощью нейросетевой библиотеки Keras на языке Python

1. from keras.models import *

2. from keras.layers import *

3.

4. def conv_block(m, dim, acti, bn, res, do=0):

5. n = Conv2D(dim, 3, activation=acti, padding='same')(m)

6. n = BatchNormalization()(n) if bn else n

7. n = Dropout(do)(n) if do else n

8. n = Conv2D(dim, 3, activation=acti, padding='same')(n)

9. n = BatchNormalization()(n) if bn else n

10. return Concatenate()([m, n]) if res else n

11.

12. def level_block(m, dim, depth, inc, acti, do, bn, mp, up, res):

13. if depth > 0:

14. n = conv_block(m, dim, acti, bn, res)

15. m = MaxPooling2D()(n) if mp else Conv2D(dim, 3, strides=2, padding='same')(n)

16. m = level_block(m, int(inc*dim), depth-1, inc, acti, do, bn, mp, up, res)

17. if up:

18. m = UpSampling2D()(m)

19. m = Conv2D(dim, 2, activation=acti, padding='same')(m)

20. else:

21. m = Conv2DTranspose(dim, 3, strides=2, activation=acti, padding='same')(m)

22. n = Concatenate()([n, m])

23. m = conv_block(n, dim, acti, bn, res)

24. else:

25. m = conv_block(m, dim, acti, bn, res, do)

26. return m

27.

28. def unet(img_shape, out_ch=1, start_ch=64, depth=4, inc_rate=2., activation='relu', dro pout=0.5, batchnorm=False, maxpool=True, upconv=True, residual=False):

29. i = Input(shape=img_shape)

30. o = level_block(i, start_ch, depth, inc_rate, activation, dropout, batchnorm, maxpo ol, upconv, residual)

31. o = Conv2D(out_ch, 1, activation='sigmoid')(o)

32. return Model(inputs=i, outputs=o)

Б. Фрагмент программного кода постобработки результатов нейросетевой модели на языке C++

1. template<typename T>

2. class Image

3. {

4. public:

5. explicit Image(T *data, size_t width, size_t height):

6. m_data{data}, m_width{width}, m_height{height} 7- {

8. }

9. ~Image() = default;

10.

11. T *get_row(size_t y) const { return m_data + y * m_width; }

12. T &get_pixel(size_t y, size_t x) const { return get_row(y)[x]; }

13.

14. size_t get_width() const { return m_width; }

15. size_t get_height() const { return m_height; }

16.

17. void fill(T value) { std::fill(m_data, m_data + m_width * m_height, value); }

18.

19. private:

20. T *m_data;

21. size_t m_width;

22. size_t m_height;

23. };

24.

25. template <typename T>

26. void add_image(Image<const T> input, Image<T> output, int qy, int qx, int ty, int tx)

27. {

28. const auto half_h = input.get_width() / 2;

29. const auto half_w = input.get_width() / 2;

30. const auto by = (1 - ty) * half_h;

31. const auto bx = (1 - tx) * half_w;

32. for (auto y = 0; y < half_h; ++y)

33. {

34. auto ky = 0.5f * (static_cast<float>(y) / half_h);

35. ky = (ty == 0) ? 0.5f - ky : ky;

36. const auto src_row = input.get_row(by + y);

37. auto dst_row = output.get_row(qy * half_h + y);

38. for (auto x = 0; x < half_h; ++x)

39. {

40. const auto src_pix = src_row[bx + x];

41. auto &dst_pix = dst_row[qx * half_w + x];

42. auto kx = 0.5f * (static_cast<float>(x) / half_w);

43. kx = (tx == 0) ? 0.5f - kx : kx;

44. if (ky >= 0.3f && kx >= 0.3f)

45. {

46. dst_pix = src_pix;

47. }

48. else if ((ky > 0.2f && ky < 0.3f) && (kx > 0.2f && kx < 0.3f))

49. {

50. const auto k = (ky - 0.2f) * (kx - 0.2f) * 100.0f;

51. dst_pix += k * src_pix;

52. }

53. else if (ky >= 0.2f && kx >= 0.2f)

54. {

55. const auto k = (std::min(ky, kx) - 0.2f) * 10.0f;

56. dst_pix += k * src_pix;

57. }

58. }

59. }

60. } 61.

62. template <typename T>

63. void blend(Image<const T> input[3][3], Image<T> output)

65. output.fill({});

66. // quadrant

67. for (auto qy = 0; qy < 2; ++qy)

68. {

69. for (auto qx = 0; qx < 2; ++qx)

70. {

71. // tile

72. for (auto ty = 0; ty < 2; ++ty)

73. {

74. for (auto tx = 0; tx < 2; ++tx)

75. {

76. // tile number

77. const auto y = 1 - (1 - qy) + ty;

78. const auto x = 1 - (1 - qx) + tx;

79. const auto &tile = input[y][x];

80. add_image(tile, output, qy, qx, ty, tx);

81. } 82. }

83. }

84. }

85. }

В. Фрагмент программного кода алгоритма выделения объектов земной поверхности с помощью библиотек OpenCV и GDAL на языке Python

1. src = gdal.Open(path, gdal.GA_ReadOnly)

2. if src is None:

3. raise Exception("Can't open '{}'".format(path))

4. ds = mem_drv.Create('', src.RasterXSize, src.RasterYSize, 1, gdalconst.GDT_UInt32)

5. geotransform = src.GetGeoTransform()

6. xs = src.RasterXSize * geotransform[1]

7. ys = src.RasterYSize * (-geotransform[5])

8. tile_max_size = max(tile_max_size, max(xs, ys))

9. ds.SetProjection(src.GetProjection())

10. ds.SetGeoTransform(src.GetGeoTransform())

11. band = ds.GetRasterBand(1)

12. band.SetNoDataValue(0)

13. src = None

14.

15. gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

16. ret, thresh = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)

17.

18. kernel = np.ones((3, 3), np.uint8)

19.

20. # noise removal

21. opening = cv2.morphologyEx(thresh,

22. cv2.MORPH_OPEN,

23. kernel,

24. iterations=2)

25.

26. # sure background area

27. sure_bg = cv2.dilate(opening, kernel, iterations=3)

28.

29. # Finding sure foreground area

30. dist_transform = cv2.distanceTransform(opening, cv2.DIST_L2, 5)

31.

32. ret, sure_fg = cv2.threshold(dist_transform, 3, 255, 0)

33.

34. # Finding unknown region

35. sure_fg = np.uint8(sure_fg)

36. unknown = cv2.subtract(sure_bg, sure_fg)

37.

38. # Marker labelling

39. ret, markers = cv2.connectedComponents(sure_fg)

40.

41. # Add one to all labels so that sure background is not 0, but 1

42. markers = markers + 1

43.

44. # Now, mark the region of unknown with zero

45. markers[unknown == 255] = 0

46.

47. markers = cv2.watershed(img, markers)

48.

49. markers[markers <= 1] = 0

50.

51. band.WriteArray(markers)

52.

53. gdal.Polygonize(band, band, src_layer, src_field, [], callback=None)

ПРИЛОЖЕНИЕ 4. ДЕМОНСТРАЦИОННЫЕ МАТЕРИАЛЫ МОДЕЛИРОВАНИЯ ТРЕХМЕРНЫХ ЛАНДШАФТОВ В СИСТЕМЕ ВИЗУАЛИЗАЦИИ «СКАЙТЕК»

Рисунок 1 - Графическая городская сцена в регионе юго-восточной Азии

Рисунок 2 - Графическая сцена с/х полей в регионе юго-восточной Азии

Рисунок 3 - Графическая городская сцена в регионе центральной части РФ (крупный город)

Рисунок 4 - Графическая городская сцена в регионе центральной части РФ (небольшой поселок)

Рисунок 5 - Графическая сцена с/х полей в регионе центральной части РФ

Рисунок 7 - Графическая сцена пустыни в северной Африке

Рисунок 8 - Графическая городская сцена в северной Африке

ПРИЛОЖЕНИЕ 5. СВЕДЕНИЯ ОБ АПРОБАЦИИ МАТЕРИАЛОВ ДИССЕРТАЦИОННОЙ РАБОТЫ

(

НАУКА БУДУЩЕГО НАУКА МОЛОДЫХ

II Всероссийский научный форум «Наука будущего - наука молодых» Казань, 20-23 сентября 2016 г.

СЕРТИФИКАТ

Награждается

Александр Тюрин

победитель заочного тура и участник очного тура

Секция:

Информационные технологии и вычислительные системы

Ч/Л'-

Кавокин Алексей Витальевич Председатель Программного комитета

Л"?

PRIFYSGOL

Slyndwr

UNI VI

UNIVERSITY

Certificate of Attendance is given to:

Aleksandr A. Tiurin, Maksim I. Vorobiev, Elena S. Yanakova, Oleg I. Lisov, Andrey M. Andrianov.

For presentation the paper, entitled:

Ail effective algorithm for analysis and processing of satellite images for semantic segmentation

at the Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus),

January 27-30, 2i№LMoscow, Russia

Vice- rector for Research M

Sergei Gavrilov

»1886-

oo o