Семантическая 3D реконструкция сцены и ее эффективная визуализация
Аннотация:
Реконструкция 3D-сцены с одним изображением требуется для решения множества сложных задач, включая мобильную робототехнику, промышленный мониторинг и реконструкцию утраченного культурного наследия. В то время как современные модели демонстрируют надежное разрешение сцены в реальном времени с разрешением до 128 x 128 x 128 вокселей, визуализация такой детализированной воксельной модели является сложной задачей. Модель с 1283 вокселями содержит 2097152 простых куба по 16 миллионов вершин. Современное оборудование не может выполнять визуализацию таких воксельных моделей в режиме реального времени. Следовательно, для демонстрации результатов реконструкции в режиме реального времени требуется метод упрощения воксельной модели. В этой статье мы предлагаем новый алгоритм упрощения воксельной модели с использованием предопределенных видов камеры. Алгоритм сводит воксельную модель твердого тела к воксельной модели оболочки. Он сохраняет только те воксели, которые видны из требуемого вида. Мы демонстрируем эффективность предложенного алгоритма на примере мобильного робота и современной нейронной сети 3D-реконструкции одной фотографии SSZ. Мы создали реальную и виртуальную сцену с различными объектами, включая статую. Мы используем мобильного робота, оснащенного одной камерой, для сбора реальных и синтетических данных. Обучаем модель SSZ на собранных данных. Мы разработали специальное программное обеспечение для визуализации, реализующее наш алгоритм. Сравнение производительности визуализации для полной модели и ее уменьшенной версии показывает, что наш алгоритм позволяет увеличить производительность в 420 раз.
Ключевые слова:
визуализация воксельной модели, 3D-реконструкция по одной фотографии, научная визуализация, нейронные сети
Язык публикации: английский, страниц:15 (с. 179-193)
Князь Владимир Владимирович, , orcid.org/0000-0003-2912-9986, Государственный научно-исследовательский институт авиационных систем; Московский физико-технический институт (МФТИ)
Мошканцев Петр В., , orcid.org/0000-0001-9624-4322, Государственный научно-исследовательский институт авиационных систем
Бордодымов Артем Н., , orcid.org/0000-0001-8159-2375, Государственный научно-исследовательский институт авиационных систем
Мизгинов Владимир А., , orcid.org/0000-0003-1885-3346, Государственный научно-исследовательский институт авиационных систем
Новиков Даниил И., , Государственный научно-исследовательский институт авиационных систем