Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон" (19-21 сентября 2023 г., Москва)"
Авторы:Сорокин М.И., Жданов Д.Д., Жданов А.Д.
Создание полигональных сеток из облаков точек с помощью глубокого обучения для их визуализации в системах смешанной реальности
Аннотация:
Системы смешанной реальности создают новые формы взаимодействия между физическим и цифровым миром, накладывая цифровые элементы на физическую среду или создавая виртуальные среды с физическими элементами. Ключевым компонентом для смешанной реальности являются системы 3D сканирования, которые захватывают форму и текстуру объектов или сцен в виде облаков точек. Для эффективного использования этих данных в приложениях смешанной реальности, их преобразуют в полигональные сетки, подходящие для рендеринга, анимации и взаимодействия. Предлагаемый метод включает применение ResNet блоков для извлечения признаков, использование автоенкодера для получения латентных 3D форм, и определение геометрии стен и потолков с помощью ограничивающих рамок. Метод позволяет получить полную 3D модель сцены из облака точек с помощью глубокого обучения и геометрического анализа. В данной работе использовались два набора данных для обучения и экспериментов: ShapeNet и ScanNet. Эти наборы данных представляют собой большую и разнообразную коллекцию трехмерных объектов и отсканированных сцен с подробной аннотацией.
Ключевые слова:
3D-реконструкция, облако точек, глубокое обучение, геометрический анализ
