Методы и алгоритмы эффективной визуализации моделей трехмерных сцен на многопроцессорных рабочих станциях тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Жданов Андрей Дмитриевич

• Жданов Андрей Дмитриевич
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Жданов Андрей Дмитриевич

Оглавление

Реферат

Synopsis

Введение

ГЛАВА 1 Обзор предметной области

1.1 Реалистичный рендеринг

1.2 Уравнение рендеринга

1.3 Обратная трассировка путей

1.4 Прямая трассировка лучей

1.5 Двунаправленная трассировка путей

1.5.1 Метод переноса света Метрополиса

1.6 Метод фотонных карт

1.6.1 Финальный сбор

1.6.2 Кэш освещенности

1.6.3 Карты важности

1.6.4 Обратные фотонные карты для финального сбора

1.6.5 Метод прогрессивных фотонных карт

1.6.6 Метод стохастических прогрессивных фотонных карт

1.7 Параллельная обработка данных модели сцены при рендеринге методами, основанными на трассировке лучей

1.8 Выводы к 1 главе

ГЛАВА 2 Рендеринг методом обратных фотонных карт

2.1 Обратные фотонные карты

2.2 Метод прогрессивных обратных фотонных карт

2.3 Организация вычислений при многопоточном рендеринге

2.4 Оценка ошибки вычислений

2.5 Выводы ко 2 главе

ГЛАВА 3 Рендеринг методом сочетания прямых и обратных фотонных карт.... 144 3.1 Метод прогрессивных каустических прямых фотонных карт и диффузных обратных фотонных карт

3.2 Оценка ошибки вычислений

3.3 Выводы к 3 главе

ГЛАВА 4 Эффективные методы параллельной обработки данных модели сцены для методов обратных фотонных карт

4.1 Традиционные методы решения задачи параллельной обработки данных модели сцены на многоядерных процессорах

4.1.1 Синхронный метод параллельной обработки данных модели сцены

4.1.2 Асинхронный метод параллельной обработки данных модели сцены

4.1.3 Выводы по традиционным методам решения задачи параллельной обработки данных модели сцены на многоядерных процессорах

4.2 Двухуровневый частично-синхронный метод параллельной обработки данных модели сцены на многоядерных процессорах

4.2.1 Иерархия потоков двухуровневого метода параллельной обработки данных модели сцены

4.2.2 Доступ к обратным фотонным картам потоков частично-синхронного уровня двухуровневого метода параллельной обработки данных модели сцены

4.2.3 Выводы по двухуровневому частично-синхронному методу параллельной обработки данных модели сцены на многоядерных процессорах

4.3 Традиционные методы решения задачи параллельной обработки данных модели сцены на многопроцессорных рабочих станциях с неравномерным доступом к памяти

4.3.1 Применение синхронного метода параллельной обработки данных модели сцены на многопроцессорных рабочих станциях с неравномерным доступом к памяти

4.3.2 Применение асинхронного метода параллельной обработки данных модели сцены на многопроцессорных рабочих станциях с неравномерным доступом к памяти

4.3.3 Сочетание синхронного и асинхронного методов параллельной обработки данных модели сцены на многопроцессорных рабочих станциях с неравномерным доступом к памяти

4.3.4 Выводы по традиционным методам решения задачи параллельной обработки данных модели сцены на многопроцессорных рабочих станциях с неравномерным доступом к памяти

4.4 Трехуровневый синхронно-асинхронный метод параллельной обработки данных модели сцены на многопроцессорных рабочих станциях с неоднородным доступом к памяти

4.4.1 Иерархия потоков трехуровневого метода параллельной обработки данных модели сцены на многопроцессорных рабочих станциях с неоднородным доступом к памяти

4.4.2 Выводы по трехуровневому синхронно-асинхронному методу параллельной обработки данных модели сцены на многопроцессорных рабочих станциях с неоднородным доступом к памяти

4.5 Выводы к 4 главе

ГЛАВА 5 Результаты практического применения рендеринга методами, основанными на обратных фотонных картах

5.1 Проверка физической корректности рендеринга

5.2 Рендеринг изображения, формируемого оптической системой

5.3 Анализ конфликта вергенции и аккомодации зрения в системе виртуальной реальности

5.4 Анализ конфликтов визуального восприятия пользователем смешанной реальности

5.5 Анализ возможности коррекции вергенции зрения в системе видео-прозрачной смешанной реальности

5.6 Выводы к 5 главе

Заключение

Список литературы

Список рисунков

Приложение 1 Акты внедрения

Приложение 2 Тексты публикаций

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы эффективной визуализации моделей трехмерных сцен на многопроцессорных рабочих станциях»

Реферат

Общая характеристика диссертации

Актуальность темы исследования. Реалистичная визуализация моделей трехмерных сцен - это рендеринг, основанный на физически корректных законах распространения и накопления светового излучения в модели трехмерной сцены, позволяющий вычислить корректное значение яркости за ограниченное время. Реалистичный рендеринг является составной частью систем современной машинной графики, реалистичной визуализации и виртуальной реальности. Кроме того, он используется при решении широкого круга прикладных задач, включающих в себя формирование реалистичных изображений, моделирование оптических эффектов, виртуальное прототипирование сложных оптических систем и т.д.

Примерами таких задач могут быть:

• Качественная оценка визуального восприятия архитектурного дизайна, включающего в себя как экстерьерный, так и интерьерный дизайн.

• Построение демонстрационных изображений проектируемых объектов для использования в презентациях или в рекламных целях.

• Создание реалистичной анимации для индустрии развлечений, например, для видеоигр или кинематографа.

• Дизайн и анализ визуального восприятия информации, отображаемой на экранах различных устройств.

• Анализ визуального восприятия объектов виртуального и реального миров в системах виртуальной или дополненной реальности.

• Проектирование и построение изображений и видеороликов для датасетов, предназначенных для первоначального обучения систем машинного зрения. Физическая корректность построенных изображений и наличие полной информации о сцене и сформированном изображении позволяет автоматизировать процесс создания датасетов на основе набора сцен и условий наблюдения, которые достаточно сложно воссоздать в реальных условиях.

Для всех перечисленных задач важным требованием является физическая корректность алгоритмов рендеринга. С ростом вычислительной мощности и сложности вычислительной архитектуры современных компьютерных систем возрастают как сложность задач рендеринга, так и требуемая точность вычислений. Кроме того, с развитием технологий производства методы виртуального прототипирования становятся все более и более востребованными.

Создание конкурентоспособных систем физически-корректного реалистичного рендеринга для решения задач формирования реалистичных изображений, моделирования сложных оптических эффектов и виртуального прототипирования требует исследований и разработки наиболее эффективных алгоритмов для физически корректного рендеринга для расчета всех компонент яркости формируемого изображения.

Предметом исследования являются физически-корректные алгоритмы и методы реалистичной визуализации моделей трехмерных сцен, основанные на методах трассировки лучей.

Объектом исследования является проблема реалистичной визуализации моделей трехмерных сцен на современных многопроцессорных рабочих станциях.

Методы исследования включают в себя методы машинной графики, методы теории вероятностей и математической статистики, методы структурного и параллельного программирования, методы распределенного программирования. Реализация разработанных алгоритмов выполнена на языке C++.

Целью исследования является повышение эффективности алгоритмов реалистичной визуализации моделей трехмерных сцен методами стохастической трассировки лучей на современных многопроцессорных рабочих станциях.

Задачи работы. Для достижения поставленной цели исследования решаются следующие задачи:

1. Анализ существующих методов реалистичной визуализации моделей трехмерных сцен с целью определения ограничений области их применения и определения способов повышения вычислительной эффективности на современных многопроцессорных рабочих станциях.

2. Исследование возможности повышения эффективности реалистичной визуализации моделей трехмерных сцен методами двунаправленной стохастической трассировки лучей за счет использования обратных фотонных карт, сформированных лучами, распространяющимися от наблюдателя, а не от источников света.

3. Исследование возможности сочетания преимуществ использования прямых и обратных фотонных карт для повышения скорости реалистичной визуализации моделей трехмерных сцен методами двунаправленной стохастической трассировки лучей для сцен, освещенных вторичным и каустическим освещением.

4. Разработка методов эффективного использования вычислительных ресурсов современных рабочих станций, имеющих сложную многопроцессорную архитектуру и неоднородную организацию доступа к памяти для решения проблемы реалистичной визуализации моделей трехмерных сцен.

5. Анализ точности и эффективности использования вычислительных ресурсов разработанными алгоритмами реалистичной визуализации моделей трехмерных сцен и проверка физической корректности вычислений.

Научная новизна работы заключается в:

1. Разработке методов и алгоритмических решений, использующих прогрессивные обратные фотонные карты для учета каустической и вторичной составляющих освещения, что для большинства сцен позволяет ускорить процесс реалистичной визуализации моделей трехмерных сцен до двух раз и уменьшить объем памяти, используемой для хранения и обработки фотонных карт, до трех раз по сравнению с алгоритмами визуализации, основанными на методах прогрессивных прямых фотонных карт.

2. Разработке методов и алгоритмических решений, использующих раздельные карты для расчета компонент яркости каустического освещения, сформированные световыми лучами, и для расчета компонент яркости вторичного освещения, сформированные лучами, идущими от наблюдателя, что позволяет дополнительно ускорить процесс реалистичной визуализации моделей трехмерных

сцен до полутора раз и уменьшить объем памяти, используемой для хранения и обработки фотонных карт, до двух раз.

3. Разработке метода трехуровневой параллельной обработки данных модели сцены, сочетающего синхронные, частично-синхронные и асинхронные вычисления, для расчета физически-корректного значения яркости изображения методами обратных фотонных карт, что позволяет повысить вычислительную эффективность разработанных алгоритмов реалистичной визуализации моделей трехмерных сцен на современных многопроцессорных рабочих станциях до полутора раз.

Теоретическая значимость исследования заключается в:

1. Исследовании и разработке новых методов и алгоритмов визуализации моделей трехмерных сцен, основанных на использовании прогрессивных обратных фотонных карт.

2. Исследовании эффективности использования раздельных фотонных карт для расчета яркости различных компонент глобального освещения, а именно использовании прогрессивных прямых фотонных карт для расчета компонент яркости каустического освещения, и прогрессивных обратных фотонных карт для расчета компонент яркости вторичного освещения.

3. Исследовании методов параллельной обработки данных модели сцены алгоритмами визуализации, использующими прогрессивные обратные фотонные карты, и разработке эффективного метода трехуровневой параллельной обработки данных модели сцены на современных многопроцессорных рабочих станциях, сочетающего синхронные, частично-синхронные и асинхронные вычисления.

Практическая значимость исследования заключается в реализации высокоэффективных методов реалистичной визуализации моделей трехмерных сцен на современных многопроцессорных рабочих станциях. В результате данного исследования были не только разработаны высокоэффективные алгоритмы реалистичной визуализации, но и была осуществлена программная реализация физически-корректной оценки распределений световых характеристик по

объектам модели сцены. Предложенные решения могут быть востребованы в различных областях человеческой деятельности:

• Дизайн и анализ эргономики офисных, жилых и производственных помещений.

• Построение реалистичных изображений и видеороликов для формирования датасетов, предназначенных для начального обучения систем машинного зрения.

• Визуальное моделирование сложных оптических эффектов, таких как поляризация, флуоресценция, дифракция, рассеивание света в неоднородной среде, двулучепреломление.

• Создание реалистичных изображений и анимации для индустрии рекламы и развлечений.

На защиту выносятся:

1. Алгоритм реалистичной визуализации моделей трехмерных сцен методом трассировки лучей на основе прогрессивных обратных фотонных карт для учета каустической и вторичной составляющих освещения.

2. Алгоритм реалистичной визуализации моделей трехмерных сцен методом трассировки лучей с раздельным расчетом каустической и вторичной составляющих освещения методами прогрессивных прямых и обратных фотонных карт соответственно.

3. Метод трехуровневой параллельной обработки данных модели сцены, сочетающий синхронные, частично-синхронные и асинхронные вычисления для расчета физически-корректного значения яркости изображения методами прогрессивных обратных фотонных карт.

Соответствие паспорту специальности. Диссертационное исследование посвящено созданию программных средств реалистичной визуализации моделей трехмерных сцен и повышению эффективности процессов их реалистичной визуализации с использованием методов машинной графики на современных многопроцессорных рабочих станциях, что соответствует формуле специальности 05.13.11 «Математическое и программное обеспечение вычислительных машин,

комплексов и компьютерных сетей». Научные положения, выносимые на защиту, соответствуют пунктам 7 и 8 паспорта специальности.

Апробация работы. Результаты исследования были представлены в 25-ти докладах на 19-ти всероссийских и международных научных и научно-исследовательских семинарах и конференциях:

• международная конференция EVA SAINT PETERSBURG, 2017 и 2019;

• международная конференция по компьютерной графике и машинному зрению ГрафиКон, 2017, 2018, 2019 и 2020;

• Научная и учебно-методическая конференция Университета ИТМО, 2018,2019 и 2020;

• Конгресс Молодых Ученых, 2018 и 2020;

• международная конференция SPIE Optical Systems Design, 2018;

• международная конференция SPIE/COS Photonics Asia, 2018, 2019 и

2020;

• международная конференция The Majorov International Conference on Software Engineering and Computer Systems, 2018;

• международная конференция SPIE Digital Optical Technologies, 2019;

• международная конференция 8th Applied Optics and Photonics China,

2019;

• международный семинар Новый уровень визуализации - новый уровень аналитики, 2020;

• международная конференция по компьютерной графике, визуализации, машинному зрению и обработке изображений CGVCVIP 2020.

Достоверность научных достижений подтверждается: 1. Сравнением распределений яркости изображений, полученных с использованием разработанных алгоритмов и их программных реализаций, с результатами распределений яркости на изображениях, полученных с использованием коммерческих систем реалистичного рендеринга SPEOS, LightTools, Lumicept.

2. Сравнением результатов расчета распределений яркости и освещенности в моделях сцен из системы тестов, разработанной МКО (Международная Комиссия по Освещению, франц. CIE - Commission internationale de l'éclairage), с референсными значениями.

3. Сравнением времени расчета, необходимого для достижения требуемой точности распределения яркости изображения, методами, реализованными с использованием разработанных алгоритмов, с аналогами, реализованными в рамках данного диссертационного исследования и использующими традиционные методы рендеринга.

4. Сравнением объёмов памяти, необходимой для хранения сформированных прямых и обратных фотонных карт, при использовании разработанных алгоритмов рендеринга, с аналогами, реализованными в рамках данного диссертационного исследования и использующими традиционные методы рендеринга.

Внедрение результатов работы. Результаты исследования были использованы в рамках выполнения работ по научно-исследовательским проектам:

• проект РНФ № 18-79-10190 «Разработка методов, алгоритмов и вычислительной архитектуры для восстановления светооптических параметров реального окружения в системах дополненной и смешанной реальностей»;

• проект РФФИ № 16-01-00552 «Моделирование и визуализация распространения паразитного рассеянного света в оптических системах, формирующих изображение»;

• проект РФФИ № 17-01-00363 «Восстановление параметров объемного рассеяния света на основе математического моделирования рассеивающей среды»;

• проект РФФИ № 18-08-01484 «Построение модели адаптивной системы динамической вергенции-аккомодации для устройств виртуальной и дополненной реальности»;

• проект Университета ИТМО № 615869 «Методы проектирования ключевых систем информационной инфраструктуры»;

• проект Университета ИТМО № 418246 «Разработка метода и вычислительного механизма для ускоренного расчета карты глубины сцены в системах дополненной и смешанной реальности»;

• проект Университета ИТМО № 619296 «Разработка методов создания и внедрения киберфизических систем»;

• проект Университета ИТМО № 718546 «Управление киберфизическими системами».

Все разработанные алгоритмы были реализованы и интегрированы в компьютерную систему реалистичного рендеринга Lumicept, разрабатываемую в ИПМ им. М.В. Келдыша совместно с INTEGRA Inc. Проведен анализ точности и вычислительной эффективности реализации разработанных алгоритмов реалистичного рендеринга и проведена проверка физической корректности вычислений.

Результаты исследования были внедрены в ИПМ имени Келдыша и использованы для оценки качества изображений, формируемых моделями оптических систем. Кроме того, программная реализация компьютерной системы реалистичного рендеринга внедрена в компании AW OPTICS LIMITED для дизайна офисных помещений и в компании Shanghai Aozhan Intelligent Technology Co., Ltd. для формирования датасетов для первоначального обучения систем машинного зрения.

Публикации. По результатам исследования, представленного в диссертации, было опубликовано 24 статьи в рецензируемых научных журналах, в том числе 15 статьей в научных журналах, входящих в международные системы цитирования Scopus и Web of Science, и 6 статей в журналах, входящих в список ВАК (среди которых 4 статьи являются переводными и проиндексированы также в Scopus и Web of Science).

Личный вклад автора в работы, выполненные в соавторстве, заключается в разработке методов и алгоритмов эффективной реалистичной визуализации моделей трехмерных сцен и эффективной параллельной обработке данных моделей

трехмерных сцен на современных многопроцессорных рабочих станциях. Результаты, представленные в диссертации, принадлежат автору.

Вклад Жданова Д.Д. заключается в общем научном руководстве исследования.

Вклад Потемина И.С., Богданова Н.Н., Гарбуля А.Г., Соколова В.Г., Лифшиц И.Л., Ван Я. и Кишалова А.А. заключается в проектировании оптических систем освещения и наблюдения и дизайне моделей трехмерных сцен, используемых в процессе исследования методов реалистичной визуализации.

Вклад Алейникова А.А. заключается в разработке метода формирования дополнительных лучей для источников света, заданных в виде фиксированного набора лучей.

Вклад Волобоя А.Г. и Галактионова В.А. заключается в разработке модели зрительного восприятия глаза человека и модели конфликта вергенции-аккомодации зрения.

Вклад Дерябина Н.Б., Барладяна Б.Х. и Бирюкова Е.Д. заключается в разработке модели трехмерной сцены и интерфейсов взаимодействия модели трехмерной сцены с вычислительным ядром рендеринга.

Вклад Зиганшина Д.М. заключается в разработке методов визуализации фотонных карт.

Вклад Сорокина М.И. заключается в проектировании и обучении нейронных сетей, использующих для первоначального обучения изображения, созданные с использованием разработанных методов реалистичной визуализации моделей трехмерных сцен.

Вклад Быковского С.В. заключается в разработке методов и аппаратных решений для восстановления карты глубин, используемой в видео-прозрачной системе смешанной реальности.

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, списка литературы и 2 приложения. Объем диссертации составляет 159 страниц основного текста, включает в себя 65 рисунков, 17 таблиц. Список используемой литературы содержит 127 источников.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Жданов Андрей Дмитриевич

Заключение

Разработанное программное решение позволяет получить детальную информацию о вкладе отдельных элементов оптического устройства в паразитное освещение, накладываемое на основное изображение. Визуализация распределения фоновой яркости на объектах оптического устройства позволяет выделить источники рассеянного света и оптимизировать средства светозащиты. Программное решение может применяться при проектировании оптических устройств, в которых предъявляются повышенные требования к качеству формируемого изображения, или устройствах, работающих в критических условиях, когда появление рассеянного света может привести к «засветке» изображения.

Список литературы диссертационного исследования кандидат наук Жданов Андрей Дмитриевич, 2020 год

ЛИТЕРАТУРА

1. Kajiya J. T. The rendering equation // Computer graphics. 1986. Vol. 20. P. 143.

2. Wann J. H., Per Ch. High quality rendering using ray tracing and photon mapping // ACM SIGGRAPH 2007 courses. SIGGRAPH'07. NY, USA, ACM [Электронный ресурс]: <http://doi.acm.org/10.1145/1281500.1281593>.

3. Eric C. Fest. Stray light Analysis and Control // SPIE press. 2013. Vol. PM229.

4. Zhdanov D., Potemin I., Garbul A., Sokolov V., Voloboy A., Galaktionov V. Application of bidirectional stochastic ray tracing for simulation of stray light in optical systems // ODF'16. Weingarten, Germany, February 29, 2016. 29S1-08.

5. Lumicept: Hybrid Light Simulation Software. 2015 [Электронный ресурс]: <http://www.integra.jp/en>.

6. Волобой А. Г., Галактионов В. А., Жданов А. Д., Жданов Д. Д. Средства визуализации распространения световых лучей в задачах проектирования оптических систем // Информационные технологии и вычислительные системы. 2009. № 4. С. 28—39.