Дифференцируемые процедурные модели для реконструкции 3D-моделей по одному изображению
Аннотация:
Большинство существующих методов для реконструкции 3D-моделей по одному изображению основаны на глубоком обучении с использованием неявных или воксельных представлений сцены и не способны создавать детализированные и качественные модели и текстуры, которые можно будет использовать на практике. Дифференцируемый рендеринг, с другой стороны, может использоваться для достижения высокой детализации, но требует множества изображений объекта с разных ракурсов. Мы предлагаем новый подход к 3D- реконструкции с по одному изображению, который использует входные параметры процедурного генератора в качестве представления сцены. Вместо того, чтобы оценивать положения вершин модели напрямую, мы оцениваем входные параметры процедурного генератора, минимизируя ошибку между входным изображением и реконструируемой моделью. Мы используем дифференцируемый рендеринг и дифференцируемые процедурные генераторы, что позволяет нам применять градиентные методы оптимизации и создавать высокодетализированную модель из одного изображения.
Ключевые слова:
Процедурная генерация, 3D реконструкция, дифференцируемый рендеринг
