Восстановление геометрических свойств трехмерных форм методами машинного обучения с приложением к инженерным задачам тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Матвеев Альберт Антонович

• Матвеев Альберт Антонович
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Матвеев Альберт Антонович

Введение

Глава 1. Постановка задачи оценки локальных геометрических

признаков и обзор литературы

1.1 Наборы данных

1.2 Аналитические методы оценки геометрических признаков

1.3 Нейронные сети для облаков точек и мешей

1.4 Приложения

1.5 Выводы

Глава 2. Построение набора данных параметрических 3D

форм и методы генерации обучающих выборок

2.1 B-Rep и постановка задачи генерации обучающих выборок

2.2 Набор данных ABC

2.2.1 Обработка моделей

2.2.2 Выборка ABC-Mesh

2.3 Методы генерации обучающих выборок

2.3.1 Проектирование выборок

2.3.2 Выборка неструктурированных облаков точек ABC-Points

2.3.3 Выборка изображений с глубиной ABC-Depth

2.3.4 Реальные данные ABC-Scan

2.4 Экспериментальное исследование архитектур нейронных сетей

2.4.1 Описание методов

2.4.2 Результаты

2.5 Выводы

Глава 3. Геометрическое внимание для оценки геометрических

признаков в облаках точек

3.1 Математическая модель окрестности точки

3.2 Архитектура нейронной сети

3.2.1 Модуль геометрического внимания

Стр.

3.3 Эксперименты

3.3.1 Метрики качества

3.3.2 Оценка нормалей

3.3.3 Детектирование особых кривых

3.4 Выводы

Глава 4. ВЕР: метод моделирования особых кривых

непрерывными полями расстояний

4.1 Математическая модель особых кривых

4.2 Обучение БЕЕ

4.2.1 Обучение на патчах

4.2.2 Восстановление глобального поля расстояний на целых облаках точек

4.3 Эксперименты

4.3.1 Сравнительное исследование

4.3.2 Выбор конфигурации БЕЕ

4.3.3 Исследование робастности

4.4 Выводы

Глава 5. Параметрическая аппроксимация особых кривых

5.1 Алгоритм извлечения особых кривых

5.1.1 Детектирование углов

5.1.2 Сегментация углов и кривых

5.1.3 Извлечение графа кривых

5.1.4 Подгонка и оптимизация параметрических кривых

5.1.5 Пост-обработка кривых

5.2 Эксперименты

5.2.1 Метрики качества и выбор параметров

5.2.2 Результаты

5.3 Выводы

Заключение

Список рисунков

Стр.

Список таблиц

Список литературы

Введение диссертации (часть автореферата) на тему «Восстановление геометрических свойств трехмерных форм методами машинного обучения с приложением к инженерным задачам»

Введение

Актуальность темы. Сегодня 3D модели и облака точек используются во многих областях науки и техники, но их применение затруднено низким разрешением, шумом и пропусками в данных. Приложения включают в себя анализ движений человека, распознавание лиц, обработку данных МРТ, компьютерной томографии и других биомедицинских изображений, данных дистанционного зондирования, реконструкцию трехмерных форм на основе данных сканирования (таких, как структурированный свет, многоракурсная фотография, лидар), в том числе обратная разработка (reverse engineering). Эти и другие примеры требуют высокоточного анализа 3D данных для распознавания образов и моделирования.

Преобразование необработанных данных 3D сканирования в представления геометрии высокого порядка называют процессом обработки геометрии объекта. Несмотря на интерес к подобного рода задачам, существующие методы восстановления геометрических свойств поверхности, или самой поверхности, из облаков точек неудовлетворительны. Получаемые результаты их работы далеки от трехмерных моделей, произведенных вручную инженерами и художниками. Очевидные для человеческого взгляда изъяны данных: шум, чрезмерное сглаживание, пропущенные данные, варьирующаяся плотность сэмплирования — остаются сложностью для алгоритмических подходов. Каждом этап процесса представляет собой отдельную сложную проблему, включая регистрацию облака точек [1], повышение плотности сэмплирования [2], оценку различных геометрических свойств (нормали [3], кривизны [4], поля направлений [5]) и реконструкцию поверхности [6] из неупорядоченных облаков точек. Для использования восстановленных форм в реальных приложениях требуется трудозатратная ручная обработка, а в некоторых специфических случаях дорогостоящая профессиональная экспертиза.

Важнейшим этапом обработки геометрии объекта является оценка нормалей к непрерывной поверхности и детектирование геометрических границ кусочно-гладких поверхностей — особых кривых, поверхностных линий, вдоль которых поле нормалей испытывает излом. Множество таких кривых называют параметрическим каркасом 3D модели. Качество восстановления поверхности возможно повысить, если эти свойства поверхности известны априори. Однако,

в реалистичных сценариях такая информация доступна редко, поэтому существует необходимость оценки свойств поверхности, определенных в дискретных точках этой поверхности. Зачастую точность результата алгоритмов восстановления поверхности напрямую зависит от качества оценки.

Предложенные ранее аналитические подходы не пригодны для обработки большого количества разнообразных облаков точек: необходимо подбирать параметры вручную в зависимости от уровня шума, плотности сэмплирования и распределения точек на поверхности. Кроме того, стандартным способом детектирования особых кривых является бинарная сегментация, что неизбежно предполагает наличие точек, лежащих на особой кривой. Очевидно, что в реальности это не верно. Таким образом, особенности геометрических данных, ограничения способа детектирования особых кривых, чувствительность к шуму и плотности выборки приводит к тому, что предложенные ранее методы не применимы к большому количеству реальных сканов.

В то же время, машинное обучение и, в частности, глубокие нейронные сети демонстрируют высокое качество во многих областях вроде обработки и анализа изображений, аудио, видео, позволяя добиваться превосходной точности там, где алгоритмы иного рода работают неудовлетворительно. В случае геометрических данных применяют геометрическое глубокое обучение [7; 8] — область на стыке компьютерного зрения, обработки геометрии объектов и глубокого обучения. Главный толчок к развитию геометрического глубокого обучения на облаках точек дали задачи классификации и сегментации на семантические части. Несмотря на успехи в этих задачах, применение таких архитектур для оценки нормалей и детектирования особых кривых по-прежнему требует вмешательства человека для достижения качественных результатов. Одна из причин — отсутствие размеченных реальных данных. Для некоторых геометрических свойств трудно получить разметку даже синтетических данных, так как разметка вручную является трудоемкой, а дифференциальные свойства на дискретных данных могут быть аппроксимированы только с низкой точностью.

Другой причиной является отсутствие подходящих архитектур нейронных сетей, большинство из которых были спроектированы для семантических приложений и не позволяют эффективно моделировать поверхность по облакам точек для робастной оценки дифференциальных геометрических свойств. Качественное детектирование особых кривых требует разработки принципиально

новых подходов обработки геометрии объектов на основе машинного обучения, и решения ряда актуальных задач в данной области.

Таким образом, существует необходимость в разработке новых методов глубокого обучения, которые бы позволили робастно восстанавливать особые кривые из облаков точек. Основными математическими задачами являются моделирование поверхностей и особых кривых в облаках точек с учетом того, что объемы данных огромны и данные имеют очень сложную структуру и высокую вариабельность. Построение надежных алгоритмов восстановления свойств поверхности позволит усовершенствовать процесс обработки геометрии объектов.

Целью диссертационной работы являются разработка и исследование математических моделей поверхностей и особых кривых, построенных по облакам точек, без информации о поверхности или априорных предположений о методах сэмплирования; разработка алгоритмов и комплексов программ на основе этих моделей для автоматического восстановления особых кривых, описывающих негладкость поверхности.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Построить математическую модель, описывающую особые кривые в облаках точек, не зависящую от плотности сэмплирования, и сформулировать задачу машинного обучения для автоматической локализации особых кривых на основе предложенной модели

2. Выявить особенности существующих архитектур нейронных сетей и алгоритмических методов для оценки геометрических свойств поверхностей, которые не позволяют эффективно аппроксимировать поверхность в неструктурированных облаках точек

3. Разработать новые архитектуры глубоких нейронных сетей, адаптированных для 3Э облаков точек, позволяющие аппроксимировать геодезические окрестности точек без использования информации о поверхности объекта

4. Разработать метод генерации выборок данных с контролируемой плотностью сэмплирования для сохранения геометрических особенностей объекта в облаке точек

5. Разработать алгоритм восстановления параметрических особых кривых из облаков точек в виде сплайнов.

Основные положения, выносимые на защиту:

1. Предложено обобщение математической модели особых кривых на облаке точек. Модель описывает особые кривые как множество уровня скалярного поля, что увеличивает устойчивость к шуму.

2. Предложен метод задания локальной окрестности точки в облаке точек. Получаемые окрестности включают в себя точки, принадлежащие к одному гладкому куску поверхности. На основе данного метода разработана архитектура нейронной сети Geometric Attention, которая повышает точность детектирования особых кривых и устойчивость к шуму.

3. Предложен алгоритм адаптивного построения облаков точек с выбором числа точек в 3D модели в зависимости от длин особых кривых.

4. Разработан алгоритм восстановления параметрического каркаса 3D модели. Он использует предложенное скалярное поле для описания особых кривых и оценки параметров аналитических кривых в пространстве.

Научная новизна результатов, полученных в диссертационной работе, заключается в том, что в ней:

1. Впервые предложено обобщение математической модели особых кривых, которое позволяет решать задачу локализации особых кривых через построение регрессии скалярного поля расстояний на точках; оно не требует предварительного восстановления поверхности, не зависит от распределения точек и позволяет локализовать особые кривые как множество уровня скалярного поля.

2. Предложено новое определение модельного расстояния между точками и метод построения окрестности, включающий точки только в пределах гладкого куска поверхности. Установлено, что основанная на нем архитектура нейронной сети позволяют использовать механизм внимания на облаках точек для реализации метода. Это позволяет улучшить качество прогноза по сравнению с методами, использующими Евклидово расстояние.

3. Разработан алгоритм получения выборок с адаптивным числом точек в зависимости от распределения длин особых кривых в CAD модели, что, в отличие от известных в области методов сэмплирования облаков точек с поверхности, позволяет сохранять геометрические особенности CAD модели.

4. Разработан алгоритм восстановления параметрических кривых, который в явном виде использует описанную математическую модель особых кривых и производит оценку параметров аналитических кривых в пространстве. Полученный результат превосходит существующие аналоги как в точности, так и надежности.

Теоретическая значимость результатов диссертации заключается в том, что получены новая математическая модель особых кривых и новый метод построения окрестности точки. Они позволяют повысить качество прогноза оценки нормалей и локализации особых кривых в облаках точек для существующих методов машинного обучения, а также построить новые архитектуры нейронных сетей для решения указанных задач. Предложенные новые архитектуры нейронных сетей и метод восстановления кривых позволяют автоматически получить более качественное, по сравнению с базовыми алгоритмами, параметрическое описание геометрического каркаса трехмерного объекта. Генерация облаков точек с адаптивной плотностью сэмплирования позволяет улучшить обобщающую способность обученных на таких данных методов машинного обучения. Результаты могут быть полезны другим научным группам для решения задач обработки трехмерных данных.

Практическая значимость. Работа имеет значительный практический потенциал для построения индустриальных решений задачи восстановления поверхности и обратной разработки (reverse engineering). Продемонстрирована работоспособность предложенных алгоритмов на реальных данных. Реализация разработанных алгоритмов на языке программирования Python вместе с наборами синтетических и реальных данных представлены в открытом доступе, что позволяет воспроизвести результаты экспериментов и использовать их для решения прикладных задач.

Методология и методы исследования. Для достижения поставленных целей в диссертационной работе используются:

— подходы дифференциальной геометрии для моделирования свойств поверхности;

— методы линейной алгебры для построения обучающих выборок данных и обработки результатов работы нейронных сетей;

— подходы теории вероятностей и статистики для построения агрегированного прогноза;

— методы численной оптимизации и теории приближений для построения параметрического описания особых кривых;

— подходы машинного обучения для постановки задачи обучения нейронных сетей;

— подходы объектно-ориентированного программирования с использованием языка программирования Python.

Достоверность полученных результатов обеспечивается корректностью применения апробированного в научной практике исследовательского и аналитического аппарата, экспериментальной проверкой предложенных методов на ряде задач и реальных наборах данных обработки SD-форм, описаниями проведенных экспериментов, допускающими их воспроизводимость и публикациями в ведущих журналах и трудах конференций по компьютерному зрению и распознаванию образов.

Апробация работы. Основные результаты работы докладывались на:

1. Skoltech-MIT conference "Collaborative Solutions for Next Generation Education, Science and Technology"2018 (Москва, Россия);

2. The 1st International Workshop on Tensor Networks and Machine Learning 2018 (Москва, Россия);

3. Conference on Computer Vision and Pattern Recognition 2019 (Лонг-Бич, США);

4. IAPR Workshop on Artificial Neural Networks in Pattern Recognition 2020, (онлайн, Цюрих, Швейцария);

5. International Conference on Artificial Intelligence and Pattern Recognition 2021 (онлайн, Сямынь, Китай);

6. ACM SIGGRAPH 2022 (Ванкувер, Канада).

Личный вклад. Все положения, выносимые на защиту, получены автором лично. В диссертации использованы результаты совместных исследований: метод восстановления глобального поля расстояний предложен соавтором А. В. Артемовым, наборы данных построены соавторами С. Кохом, А. В. Артемовым и Г. А. Бобровских, выбор структурных элементов и оптимизация программного кода DEF проведены совместно с соавторами Р. И. Рахимовым, В. Г. Егиаза-ряном и Е. Н. Богомоловым.

Публикации. Основные результаты по теме диссертации изложены в 4 печатных изданиях, 4 из которых индексируются Scopus и/или Web of Science.

A1. ABC: A Big CAD Model Dataset for Geometric Deep Learning / S. Koch [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2019. — P. 9601—9611.

A2. Geometric Attention for Prediction of Differential Properties in 3D Point Clouds / A. Matveev [et al.] // IAPR Workshop on Artificial Neural Networks in Pattern Recognition. — Springer. 2020. — P. 113—124.

A3. 3D Parametric Wireframe Extraction Based on Distance Fields / A. Matveev [et al.] // 2021 4th International Conference on Artificial Intelligence and Pattern Recognition. — Xiamen, China : Association for Computing Machinery, 2021. — P. 316—322. — (AIPR 2021). — URL: https://doi.org/10.1145/ 3488933.3488982.

A4. DEF: Deep Estimation of Sharp Geometric Features in 3D Shapes / A. Matveev [et al.] // ACM Trans. Graph. — New York, NY, USA, 2022. — July. — Vol. 41, no. 4. — URL: https://doi.org/10.1145/3528223.3530140.

Объем и структура работы. Диссертация состоит из введения, пяти глав и заключения. Полный объём диссертации составляет 121 страницу, включая 35 рисунков и 17 таблиц. Список литературы содержит 118 наименований.

Глава 1. Постановка задачи оценки локальных геометрических

признаков и обзор литературы

Появление больших наборов данных и новых классов алгоритмов привело к заметным достижениям во многих областях компьютерных наук, и ключевую роль в этом играют большие размеры выборки. Представления различных типов данных (изображение, аудио, видео) основаны на регулярной дискретизации в пространстве и времени, что обеспечивает структурированный ввод для современных методов. Машинное обучение и его часть — глубокое обучение — как методология построения аппроксимирующих функций из выборок данных [13; 14] успешно использовались для анализа таких структурированных представлений. В то же время известны высокие требования к объему и качеству выборок исходных данных, используемых для построения решающих правил. Например, один из самых известных наборов размеченных изображений ImageNet [15], который широко используется для обучения классификаторов на основе сверточных нейронных сетей (convolutional neural networks, CNN), содержит около 20 тысяч классов и 14 миллионов 2Э-изоб-ражений.

Для трехмерных геометрических моделей ситуация иная. Создание высококачественных моделей такого типа по-прежнему затруднено, несмотря на растущую доступность 3D сканеров и усовершенствование инструментов 3D моделирования. Присущая таким данным неравномерность и значительный уровень навыков, необходимых для создания высококачественных 3D моделей, ограничивают доступность наборов геометрических данных. В существующих наборах данных также часто отсутствует точная разметка.

Сегодня 3D модели и облака точек используются во многих областях науки и техники, но их применение затруднено низким разрешением, шумом и пропусками в данных. Приложения включают в себя анализ движений человека, распознавание лиц, обработку данных МРТ, компьютерной томографии и других биомедицинских изображений, данных дистанционного зондирования, реконструкцию трехмерных форм на основе данных сканирования (таких, как структурированный свет, многоракурсная фотография, лидар, см. рисунок 1.1), в том числе обратная разработка (reverse engineering). Эти и многие другие при-

| MRI scans LiDAR range-scans Depth maps

light scans

Рисунок 1.1 — Примеры работы устройств получения 3D данных.

меры требуют высокоточного анализа 3D данных для распознавания образов и моделирования.

Преобразование необработанных данных 3D сканирования в представления геометрии высокого порядка (в общем смысле описание истинной поверхности) называют процессом обработки геометрии объекта. Задачи обработки геометрии объектов возникают в различных областях науки и промышленности. Несмотря на значительный интерес исследователей, существующие методы восстановления геометрических свойств поверхности или самой поверхности по необработанным 3D данным неудовлетворительны. Очевидные для человеческого глаза дефекты — шумы, чрезмерное сглаживание, пропуски данных, варьирующаяся плотность выборки — по-прежнему представляют большую проблему для алгоритмических подходов. Каждом этап процесса представляет собой отдельную сложную проблему, включая регистрацию облака точек [1], повышение плотности сэмплирования [2], оценку различных геометрических свойств (нормали [3], кривизны [4], поля направлений [5]) и реконструкцию поверхности [6] из неупорядоченных облаков точек. Спектр возможных применений огромен, включая роботизированную навигацию, беспилотные транспортные средства, виртуальную реальность и компьютерную графику. Общая схема процесса обработки геометрии объекта изображена на рисунке 1.2.

В случае геометрических данных применяют геометрическое глубокое обучение [7; 8] — область на стыке компьютерного зрения, обработки геометрии объектов и глубокого обучения.Главный толчок к развитию геометрического глубокого обучения на облаках точек дали задачи классификации и сегментации на семантические части. Несмотря на успехи в этих задачах, применение

Data acquisition Geometric features Meshing Surface parametrization

estimation

Рисунок 1.2 — Схема процесса обработки геометрии объекта.

таких архитектур для оценки геометрических свойств по-прежнему требует вмешательства человека для достижения качественных результатов. Одна из причин — отсутствие размеченных реальных данных; другой причиной является отсутствие подходящих архитектур нейронных сетей. Для некоторых геометрических свойств трудно получить разметку даже синтетических данных, так как разметка вручную является трудоемкой, а дифференциальные свойства на дискретных данных могут быть аппроксимированы только с низкой точностью.

Одним из важнейших этапов реконструкции поверхности трехмерного объекта из неструктурированных 3D облаков точек является восстановление геометрических свойств непрерывной поверхности. Качество восстановления поверхности возможно существенно повысить, если свойства поверхности известны априори. Однако, в реалистичных сценариях такая информация доступна редко, поэтому существует необходимость оценки свойств поверхности, определенных в дискретных точках этой поверхности. Зачастую точность результата алгоритмов восстановления поверхности напрямую зависит от качества оценки.

Примерами таких свойств являются дифференциальные геометрические свойства поверхности: векторы нормалей, кривизны поверхности и специаль-

ный класс кривых, определяемых на поверхности объекта, вдоль которых векторное поле нормалей претерпевает излом. Такие свойства предоставляют необходимую информацию о гладкости поверхности, ее локальной вариации, и позволяют точнее определять положения геометрических особенностей рассматриваемых 3D моделей, что приводит к более точному представлению восстанавливаемой поверхности. Ярким примером важности таких свойств является алгоритм Пуассона восстановления поверхности (Poisson Surface Reconstruction [6]), который, помимо неструктурированного 3D облака точек, требует векторы ориентированных нормалей, определенных в каждой точке. Примеры задач, которые можно решать с помощью процесса обработки геометрии объектов представлены на рисунке 1.3.

Определение 1. 3D формой будем называть ориентируемую кусочно-гладкую двумерную поверхность S, охватывающую замкнутый объем V С R3.

Границы смежных гладких кусков такой поверхности пересекаются вдоль некой кривой, лежащей на поверхности, что означает, что точки вдоль этой кривой относятся одновременно к обеим поверхностям. При пересечении возможны два случая: поверхности стыкуются гладко или негладко. Кривые негладкого перехода будем называть особыми.

Определение 2. Для двух смежных гладких кусков поверхности Si и S2 кривая, определенная как у = S1 \ S2, называется особой, если:

8p G у : lim n(q) = lim n(q).

q!p,q2Si q!p,qGS2

Интуитивно определение говорит о том, что векторное поле нормалей поверхности разрывно: существует ненулевой угол между нормалями смежных кусков поверхности в точках, сколь угодно близких к особой кривой.

На практике поверхность 3D формы может быть представлена параметрическими поверхностями (CAD модели, B-Rep), которые мы обсудим в главе 2, но чаще всего она описывается полигональной сеткой или мешем. Это дискретное кусочно-линейное представление поверхности.

Определение 3. Меш определяется парой M = (V,K), где V = {vi}-=1' С R3 — множество координат вершин меша, а K = (V,E,F) — симплициальный комплекс, описывающий связность меша.

— V = {1,..., |M|} С N — множество индексов вершин меша;

— Е С {(%,]) 2 V х V} — пары индексов вершин, определяющих ребра меша;

— Е С {(%,],к) 2 V х V х V} — тройки индексов, определяющих грани меша.

Каждому ребру из Е соответствует ровно две грани из Е.

Меши широко распространены в области обработке геометрии объектов, поскольку позволяют структурировано и просто хранить информацию о поверхности.

В реальных данных при сканировании в большинстве случаев недоступна даже дискретная поверхность, а данные представлены облаком точек.

Определение 4. Неструктурированное облако точек Р, полученное из формы 5, это множество точек в К3, таких, что:

р = {рг = (хг,уг,гг) |рг 2

Облака точек не содержат информации о связности и инвариантны относительно перестановки точек. Таким образом, ставится задача восстановления свойств (признаков) трехмерных форм 5 только по дискретным наблюдениям поверхности, представленным облаком точек Р, в частности, рассматривается задача оценки векторов нормали в точке и детектирования особых кривых. Сформулируем постановку задачи следующим образом. Пусть задано 3Э облако точек Р 2 х3, состоящее из N точек. Требуется построить отображение

ф(Рг) = У г,

где уг — геометрические свойства, определенные в каждой из точек рг. Размерность У зависит от конкретного прогнозируемого свойства. Например, в случае векторов нормалей уг 2 К3; при распознавании особых линий в виде сегментации — уг 2 {0,1}. Вместо истинного отображения '(рг) строится его аппроксимация /©(рг), где аппроксиматор / параметризуется набором параметров в.

Patch decomposition Surface vectorization Shape

reconstruction

Рисунок 1.3 — Примеры задач, решаемых процессом обработки геометрии

объектов.

1.1 Наборы данных

В последние годы увеличилась доступность наборов 3D данных. Стандартные представления 3D данных включают в себя воксели, облака точек, многоракурсные изображения, изображения глубины, полигональные сетки. Отдельно стоят модели, описанные параметрическими поверхностями (созданные в системах автоматизированного проектирования, Computer-Aided Design, CAD), которые предоставляют наиболее богатое описание геометрии. Среди них облака точек и полигональные сетки наиболее удобны для решения различных геометрических задач. Кроме того, облака точек являются стандартным представлением вывода различных 3D сканеров, а полигональные сетки используются в промышленных приложениях — в графике, 3D печати и других. Развитие алгоритмов сегментации и классификации было обусловлено появлением нескольких известных наборов 3D данных [16—19].

ShapeNet [16] включает в себя более 3,000,000 трехмерных фигур и не представлен в открытом доступе целиком. Доступные подмножества ShapeNetCore (51,300 моделей) и ShapeNetSem (12,000 моделей) широко используются во многих публикациях для задач классификации и семантической сегментации. Стоит отметить, что полигональные сетки ShapeNet имеют неудовлетворительное качество и требуют трудозатратной предварительной обработки поверхности для задач, связанных именно с оценкой геометрических свойств.

I ^

ЛЁ к

PSB

[Shilane et al., 2005]

4 4 J

<^

# ; *

ShapeNet

[Cfiang et al., 2016]

Рисунок 1.4 — Примеры наборов 3D данных.

Еще одним корпусом является ModelNet [17], включающий 151,128 ме-шей, который широко используется для сравнительного анализа алгоритмов классификации. Однако в ModelNet не хватает разнообразия форм и геометрического разнообразия. Коллекции ShapeNet и ModelNet не подходят для решения геометрических задач из-за отсутствия геометрической разметки и низкого качества мешей.

Кроме того, есть наборы данных меньшего размера: Thingi10K [18] включает 10,000 мешей и не имеет дополнительной разметки. PrincetonSB [19] содержит 6,670 мешей, и также не содержит никакой информации, связанной с геометрией. Наконец, NIST [20] содержит менее 30 CAD моделей. Хотя представление CAD является самым геометрически полным, тридцати моделей недостаточно для построения сложных алгоритмов машинного обучения.

Дополнительные наборы данных доступны для больших сцен [21; 22], оценки позы человека [23; 24] и выравнивания 2D/3D [25; 26] и не подходят для использования в геометрических задачах. Примеры данных представлены на рисунке 1.4. В таблице 1 представлен обзор наиболее важных наборов данных, их характеристик и возможностей.

Список литературы диссертационного исследования кандидат наук Матвеев Альберт Антонович, 2023 год

Список литературы

1. Registration of 3D point clouds and meshes: a survey from rigid to nonrigid / G. K. Tam [et al.] // IEEE transactions on visualization and computer graphics. — 2012. — Vol. 19, no. 7. — P. 1199—1217.

2. Edge-aware point set resampling / H. Huang [et al.] // ACM transactions on graphics (TOG). — 2013. — Vol. 32, no. 1. — P. 1—12.

3. Cazals F., Pouget M. Estimating differential quantities using polynomial fitting of osculating jets // Computer Aided Geometric Design. — 2005. — Vol. 22, no. 2. — P. 121—146.

4. Robust Statistical Estimation of Curvature on Discretized Surfaces / E. Kalogerakis [et al.] // Proceedings of the Fifth Eurographics Symposium on Geometry Processing. — Barcelona, Spain : Eurographics Association, 2007. — P. 13—22. — (SGP '07). — URL: http://dl.acm.org/citation.cfm? id=1281991.1281993.

5. Directional field synthesis, design, and processing / A. Vaxman [et al.] // Computer Graphics Forum. Vol. 35. — Wiley Online Library. 2016. — P. 545—572.

6. Kazhdan M, Bolitho M, Hoppe H. Poisson Surface Reconstruction // Proceedings of the fourth Eurographics symposium on Geometry processing. Vol. 7. — 2006. — P. 61—70.

7. Geometric deep learning: going beyond euclidean data / M. M. Bronstein [et al.] // IEEE Signal Processing Magazine. — 2017. — Vol. 34, no. 4. — P. 18—42.

8. Deep learning for 3d point clouds: A survey / Y. Guo [et al.] // IEEE transactions on pattern analysis and machine intelligence. — 2020.

9. ABC: A Big CAD Model Dataset for Geometric Deep Learning / S. Koch [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2019. — P. 9601—9611.

10. Geometric Attention for Prediction of Differential Properties in 3D Point Clouds / A. Matveev [et al.] // IAPR Workshop on Artificial Neural Networks in Pattern Recognition. — Springer. 2020. — P. 113—124.

11. 3D Parametric Wireframe Extraction Based on Distance Fields / A. Matveev [et al.] // 2021 4th International Conference on Artificial Intelligence and Pattern Recognition. — Xiamen, China : Association for Computing Machinery, 2021. — P. 316—322. — (AIPR 2021). — URL: https://doi.org/10.1145/ 3488933.3488982.

12. DEF: Deep Estimation of Sharp Geometric Features in 3D Shapes / A. Matveev [et al.] // ACM Trans. Graph. — New York, NY, USA, 2022. — July. — Vol. 41, no. 4. — URL: https://doi.org/10.1145/3528223.3530140.

13. Friedman J. H. The elements of statistical learning: Data mining, inference, and prediction. — springer open, 2017.

14. Bishop C. M. Pattern recognition // Machine learning. — 2006. — Vol. 128, no. 9.

15. Imagenet large scale visual recognition challenge / O. Russakovsky [et al.] // International journal of computer vision. — 2015. — Vol. 115, no. 3. — P. 211—252.

16. ShapeNet: An Information-Rich 3D Model Repository : tech. rep. / A. X. Chang [et al.] ; Stanford University — Princeton University — Toyota Technological Institute at Chicago. — 2015. — ArXiv:1512.03012 [cs.GR].

17. 3D ShapeNets: A deep representation for volumetric shapes / Z. Wu [et al.] // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 06/2015. — P. 1912—1920.

18. Zhou Q, Jacobson A. Thingi10K: A Dataset of 10,000 3D-Printing Models // arXiv preprint arXiv:1605.04797. — 2016.

19. The Princeton Shape Benchmark // Proceedings of the Shape Modeling International 2004. — Washington, DC, USA : IEEE Computer Society, 2004. — P. 167—178. — (SMI '04). — URL: https://doi.org/10.1109/SMI.2004.63.

20. NIST CAD Models and STEP Files with PMI. — Accessed: 2018-11-11. https://catalog.data.gov/dataset/nist-cad-models-and-step-files-with-pmi.

21. Song S., Lichtenberg S. P., Xiao J. SUN RGB-D: A RGB-D scene understanding benchmark suite // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2015. — P. 567—576.

22. ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes / A. Dai [et al.] // Proc. Computer Vision and Pattern Recognition (CVPR), IEEE. — 2017.

23. Dynamic FAUST: Registering Human Bodies in Motion / F. Bogo [et al.] // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). — 07/2017.

24. 2D Human Pose Estimation: New Benchmark and State of the Art Analysis / M. Andriluka [et al.] // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 06/2014.

25. Seeing 3D chairs: exemplar part-based 2D-3D alignment using a large dataset of CAD models / M. Aubry [et al.] // CVPR. — 2014.

26. Joint 2d-3d-semantic data for indoor scene understanding / I. Armeni [et al.] // arXiv preprint arXiv:1702.01105. — 2017.

27. Jin S., Lewis R. R., West D. A Comparison of Algorithms for Vertex Normal Computation // Vis. Comput. — Secaucus, NJ, USA, 2005. — Feb. — Vol. 21, no. 1/2. — P. 71—82. — URL: http://dx.doi.org/10.1007/s00371-004-0271-1.

28. Mura C, Wyss G., Pajarola R. Robust Normal Estimation in Unstructured 3D Point Clouds by Selective Normal Space Exploration // Vis. Comput. — Berlin, Heidelberg, 2018. — June. — Vol. 34, no. 6—8. — P. 961—971. — URL: https://doi.org/10.1007/s00371-018-1542-6.

29. Multi-level Partition of Unity Implicits / Y. Ohtake [et al.] // ACM Trans. Graph. — New York, NY, USA, 2003. — July. — Vol. 22, no. 3. — P. 463—470.

30. Boulch A., Marlet R. Fast and Robust Normal Estimation for Point Clouds with Sharp Features // Comput. Graph. Forum. —Chichester, UK, 2012. — Aug. — Vol. 31, no. 5. — P. 1765—1774. — URL: http://dx.doi.org/10. 1111/j.1467-8659.2012.03181.x.

31. Bazazian D., Casas J. R., Ruiz-Hidalgo J. Fast and Robust Edge Extraction in Unorganized Point Clouds // 2015 international conference on digital image computing: techniques and applications (DICTA). — IEEE. 2015. — P. 1—8.

32. Merigot Q., Ovsjanikov M., Guibas L. J. Voronoi-Based Curvature and Feature Estimation from Point Clouds // IEEE Transactions on Visualization and Computer Graphics. — 2010. — Vol. 17, no. 6. — P. 743—756.

33. Weber C., Hahmann S., Hagen H. Sharp Feature Detection in Point Clouds // 2010 Shape Modeling International Conference. — IEEE. 2010. — P. 175—186.

34. Dey T. K., Wang L. Voronoi-based feature curves extraction for sampled singular surfaces // Computers & Graphics. — 2013. — Vol. 37, no. 6. — P. 659—668.

35. Pointnet: Deep learning on point sets for 3d classification and segmentation / C. R. Qi [et al.] // Proc. Computer Vision and Pattern Recognition (CVPR), IEEE. — 2017. — Vol. 1, no. 2. — P. 4.

36. Pointnet++: Deep hierarchical feature learning on point sets in a metric space / C. R. Qi [et al.] // Advances in neural information processing systems. — 2017. — P. 5099—5108.

37. PCPNet: Learning Local Shape Properties from Raw Point Clouds / P. Guerrero [et al.] // Computer Graphics Forum. — 2018. — Vol. 37, no. 2. — P. 75—85.

38. Pointcnn: Convolution on x-transformed points / Y. Li [et al.] // Advances in neural information processing systems. — 2018. — Vol. 31. — P. 820—830.

39. Atzmon M, Maron H, Lipman Y. Point Convolutional Neural Networks by Extension Operators // ACM Trans. Graph. — New York, NY, USA, 2018. — July. — Vol. 37, no. 4. — 71:1—71:12. — URL: http://doi.acm. org/10.1145/3197517.3201301.

40. Hua B.-S., Tran M.-K., Yeung S.-K. Pointwise Convolutional Neural Networks // Computer Vision and Pattern Recognition (CVPR). — 2018. — P. 984—993.

41. Dynamic Graph CNN for Learning on Point Clouds / Y. Wang [et al.] // ACM Transactions on Graphics (TOG). — 2019. — Vol. 38, no. 5. — P. 1—12.

42. PointWeb: Enhancing Local Neighborhood Features for Point Cloud Processing / H. Zhao [et al.] // The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 06/2019. — P. 5565—5573.

43. Verma N., Boyer E, Verbeek J. J. FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2018. — P. 2598—2606.

44. Venkanna Sheshappanavar S., Kambhamettu C. A Novel Local Geometry Capture in PointNet++ for 3D Classification // The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. — 06/2020. — P. 262—263.

45. Attention is All You Need / A. Vaswani [et al.] // Advances in neural information processing systems. — 2017. — P. 5998—6008.

46. Point2sequence: Learning the Shape Representation of 3D Point Clouds with an Attention-Based Sequence to Sequence Network / X. Liu [et al.] // Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. — 2019. — P. 8778—8785.

47. Modeling Point Clouds with Self-Attention and Gumbel Subset Sampling / J. Yang [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2019. — P. 3323—3332.

48. Kingkan C., Owoyemi J., Hashimoto K. Point Attention Network for Gesture Recognition Using Point Cloud Data. // BMVC. — 2018. — P. 118.

49. Rotation Invariant Point Cloud Classification: Where Local Geometry Meets Global Topology / C. Zhao [et al.] // arXiv preprint arXiv:1911.00195. — 2019.

50. Hackel T., Wegner J. D., Schindler K. Contour Detection in Unstructured 3D Point Clouds // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2016. — P. 1610—1618.

51. Hackel T., Wegner J. D., Schindler K. Joint classification and contour extraction of large 3D point clouds // ISPRS Journal of Photogrammetry and Remote Sensing. — 2017. — Vol. 130. — P. 231—245. — URL: http: //www.sciencedirect.com/science/article/pii/S092427161630613X.

52. Raina P., Mudur S., Popa T. Sharpness fields in point clouds using deep learning // Computers & Graphics. — 2019. — Vol. 78. — P. 37—53.

53. PIE-NET: Parametric Inference of Point Cloud Edges / X. Wang [et al.] // Advances in Neural Information Processing Systems. — 2020. — Vol. 33.

54. EC-Net: an Edge-aware Point set Consolidation Network / L. Yu [et al.] // Proceedings of the European Conference on Computer Vision (ECCV). — 2018. — P. 386—402.

55. Bazazian D., Parés M. EDC-Net: Edge Detection Capsule Network for 3D Point Clouds // Applied Sciences. — 2021. — Vol. 11, 4: 1833. — P. 1—16.

56. PCEDNet: A Lightweight Neural Network for Fast and Interactive Edge Detection in 3D Point Clouds / C.-E. Himeur [et al.] // ACM Transactions on Graphics (TOG). — 2021. — Vol. 41, no. 1. — P. 1—21.

57. The graph neural network model / F. Scarselli [et al.] // IEEE Transactions on Neural Networks. — 2009. — Vol. 20, no. 1. — P. 61—80.

58. Gated graph sequence neural networks / Y. Li [et al.] // arXiv preprint arXiv:1511.05493. — 2015.

59. Learning multiagent communication with backpropagation / S. Sukhbaatar, R. Fergus, [et al.] // Advances in Neural Information Processing Systems. — 2016. — P. 2244—2252.

60. Spectral networks and locally connected networks on graphs / J. Bruna [et al.] // arXiv preprint arXiv:1312.6203. — 2013.

61. Henaff M, Bruna J., LeCun Y. Deep convolutional networks on graph-structured data // arXiv preprint arXiv:1506.05163. — 2015.

62. Defferrard M., Bresson X., Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering // Advances in Neural Information Processing Systems. — 2016. — P. 3844—3852.

63. Kipf T. N., Welling M. Semi-supervised classification with graph convolutional networks // arXiv preprint arXiv:1609.02907. — 2016.

64. Learning class-specific descriptors for deformable shapes using localized spectral convolutional networks / D. Boscaini [et al.] // Computer Graphics Forum. Vol. 34. — Wiley Online Library. 2015. — P. 13—23.

65. SyncSpecCNN: Synchronized Spectral CNN for 3D Shape Segmentation. / L. Yi [et al.] // CVPR. — 2017. — P. 6584—6592.

66. Surface Networks / I. Kostrikov [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2018. — P. 2540—2548.

67. Geodesic convolutional neural networks on riemannian manifolds / J. Masci [et al.] // Proceedings of the IEEE international conference on computer vision workshops. — 2015. — P. 37—45.

68. Learning shape correspondence with anisotropic convolutional neural networks / D. Boscaini [et al.] // Advances in Neural Information Processing Systems. — 2016. — P. 3189—3197.

69. Geometric deep learning on graphs and manifolds using mixture model CNNs / F. Monti [et al.] // Proc. CVPR. Vol. 1. — 2017. — P. 3.

7G. MeshCNN: a Network with an Edge / R. Hanocka [et al.] // ACM Transactions on Graphics (TOG). — 2019. — Vol. 38, no. 4. — P. 1—12.

71. Favreau J.-D., Lafarge F., Bousseau A. Fidelity vs. simplicity: a global approach to line drawing vectorization // ACM Transactions on Graphics (TOG). — 2016. — Vol. 35, no. 4. — P. 1—10.

72. Deep Vectorization of Technical Drawings / V. Egiazarian [et al.] // European Conference on Computer Vision. — Springer. 2020. — P. 582—598.

73. Zhou Y., Qi H., Ma Y. End-to-end wireframe parsing // Proceedings of the IEEE/CVF International Conference on Computer Vision. — 2019. — P. 962—971.

74. Learning to reconstruct 3d manhattan wireframes from a single image / Y. Zhou [et al.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. — 2019. — P. 7698—7707.

75. PC2WF: 3D Wireframe Reconstruction from Raw Point Clouds / Y. Liu [et al.] // CoRR. — 2021. — Vol. abs/2103.02766. — arXiv: 2103.02766. — URL: https://arxiv.org/abs/2103.02766.

76. Polygon mesh processing / M. Botsch [et al.]. — CRC press, 2010.

77. State of the art in surface reconstruction from point clouds / M. Berger [et al.] // Eurographics 2014-State of the Art Reports. Vol. 1. — 2014. — P. 161—185.

78. Supervised fitting of geometric primitives to 3d point clouds / L. Li [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2019. — P. 2652—2660.

79. Parsenet: A parametric surface fitting network for 3d point clouds / G. Sharma [et al.] // European Conference on Computer Vision. — Springer. 2020. — P. 261—276.

80. CPFN: Cascaded Primitive Fitting Networks for High-Resolution Point Clouds / E.-T. Lê [et al.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. — 2021. — P. 7457—7466.

81. Cao Y, Nan L, Wonka P. Curve networks for surface reconstruction // arXiv preprint arXiv:1603.08753. — 2016.

82. Torrente M.-L, Biasotti S., Falcidieno B. Recognition of feature curves on 3D shapes using an algebraic approach to Hough transforms // Pattern Recognition. — 2018. — Vol. 73. — P. 111—130.

83. A papier-mâché approach to learning 3d surface generation / T. Groueix [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2018. — P. 216—224.

84. Deep geometric prior for surface reconstruction / F. Williams [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2019. — P. 10130—10139.

85. Texturenet: Consistent local parametrizations for learning from high-resolution signals on meshes / J. Huang [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2019. — P. 4440—4449.

86. Cross-atlas convolution for parameterization invariant learning on textured mesh surface / S. Li [et al.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2019. — P. 6143—6152.

87. Feature-Aligned T-Meshes / A. Myles [et al.] // ACM Transactions on Graphics (TOG). — 2010. — Vol. 29, no. 4. — P. 1—11.

88. Integer-grid maps for reliable quad meshing / D. Bommes [et al.] // ACM Transactions on Graphics (TOG). — 2013. — Vol. 32, no. 4. — P. 1—12.

89. Consistent functional cross field design for mesh quadrangulation / O. Azencot [et al.] // ACM Transactions on Graphics (TOG). — 2017. — Vol. 36, no. 4. — P. 1—13.

90. Quadriflow: A scalable and robust method for quadrangulation / J. Huang [et al.] // Computer Graphics Forum. Vol. 37. — Wiley Online Library. 2018. — P. 147—160.

91. Quad-mesh generation and processing: A survey / D. Bommes [et al.] // Computer Graphics Forum. Vol. 32. — Wiley Online Library. 2013. — P. 51—76.

92. Farin G. Curves and Surfaces for CAGD: A Practical Guide. — 5th. — San Francisco, CA, USA : Morgan Kaufmann Publishers Inc., 2002.

93. Onshape. —Accessed: 2018-11-14. https://www.onshape.com/.

94. STEP File Format. —Accessed: 2018-11-11. https://en.wikipedia.org/wiki/ ISO_10303-21.

95. Open CASCADE Technology OCCT. — Accessed: 2021-06-01. https: / / www.opencascade.com/.

96. Geuzaine C., Remacle J. F. Gmsh: a three-dimensional finite element mesh generator with built-in pre- and post-processing facilities // International Journal for Numerical Methods in Engineering. — 2009.

97. Garland M., Heckbert P. S. Surface Simplification Using Quadric Error Metrics // Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. — New York, NY, USA : ACM Press/Addis-on-Wesley Publishing Co., 1997. — P. 209—216. — (SIGGRAPH '97). — URL: https://doi.org/10.1145/258734.258849.

98. Parasolid: 3D Geometric Modeling Engine. — Accessed: 2021-06-01. https: / / www.plm.automation.siemens.com / global/en/products / plm-components / parasolid.html.

99. Towards the systematic reporting of the energy and carbon footprints of machine learning / P. Henderson [et al.] // Journal of Machine Learning Research. — 2020. — Vol. 21, no. 248. — P. 1—43.

100. Cook R. L. Stochastic sampling in computer graphics // ACM Transactions on Graphics (TOG). — 1986. — Vol. 5, no. 1. — P. 51—72.

101. Parallel Poisson disk sampling with spectrum analysis on surfaces / J. Bowers [et al.] // ACM Transactions on Graphics (TOG). — 2010. — Vol. 29, no. 6. — P. 1—10.

102. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. — 2nd ed. — Cambridge University Press, 2004.

103. RangeVision Spectrum - a new 3D high-resolution scanner. — Accessed: 2021-06-01. https://rangevision.com/en/products/spectrum/.

104. Meshlab: an open-source mesh processing tool. / P. Cignoni [et al.] // Eurographics Italian chapter conference. Vol. 2008. — Salerno, Italy. 2008. — P. 129—136.

105. Surface reconstruction from unorganized points. Vol. 26 / H. Hoppe [et al.]. — ACM, 1992.

106. Pytorch: an Imperative Style, High-Performance Deep Learning Library / A. Paszke [et al.] // Advances in neural information processing systems. — 2019. — P. 8026—8037.

107. Kingma D. P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. — 2014.

108. Ronneberger O, Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // International Conference on Medical image computing and computer-assisted intervention. — Springer. 2015. — P. 234—241.

109. Learning attraction field representation for robust line segment detection / N. Xue [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2019. — P. 1595—1603.

110. Deep residual learning for image recognition / K. He [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — P. 770—778.

111. Imani E., White M. Improving Regression Performance with Distributional Losses //. Vol. 80 / ed. by J. Dy, A. Krause. — Stockholmsmässan, Stockholm Sweden : PMLR, 10-15 Jul/2018. — P. 2157—2166. — (Proceedings of Machine Learning Research). — URL: http://proceedings.mlr.press/v80/ imani18a.html.

112. Learning Unsupervised Multi-View Stereopsis via Robust Photometric Consistency / T. Khot [et al.]. — 2019. — arXiv: 1905.02706 [cs.CV].

113. Falcon W. PyTorch Lightning//GitHub. Note: https://github.com/PyTorchLigh 2019. — Vol. 3.

114. Yadan O. Hydra - A framework for elegantly configuring complex applications. — 2019. — URL: https://github.com/facebookresearch/hydra. Github.

115. Hagberg A., Swart P., S Chult D. Exploring network structure, dynamics, and function using NetworkX : tech. rep. / Los Alamos National Lab.(LANL), Los Alamos, NM (United States). — 2008.

116. Scikit-learn: Machine learning in Python / F. Pedregosa [et al.] // the Journal of machine Learning research. — 2011. — Vol. 12. — P. 2825—2830.

117. SciPy 1.0: fundamental algorithms for scientific computing in Python / P. Vir-tanen [et al.] // Nature methods. — 2020. — Vol. 17, no. 3. — P. 261—272.

118. Interpolating between optimal transport and MMD using Sinkhorn divergences / J. Feydy [et al.] // The 22nd International Conference on Artificial Intelligence and Statistics. — PMLR. 2019. — P. 2681—2690.