Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон" (19-21 сентября 2022 г., Рязань)"
Авторы:Сорокин М.И., Жданов Д.Д., Жданов А.Д.
Метод построения цифрового аналога реального окружения с использованием нейронных сетей
Аннотация:
Проблема формирования естественных условий освещения виртуальных объектов и взаимодействия виртуальных объектов с реальным миром еще полностью не решена. Целью данного исследования является исследование возможности устранения причин конфликтов зрительного восприятия систем смешанной реальности за счет замены реальных объектов их виртуальными аналогами. Основная идея – это перевод всех объектов реального мира в виртуальное окружение. Это решение переводит систему смешанной реальности в систему виртуальной реальности и обеспечивает корректное физическое и световое взаимодействие объектов виртуального и реального миров. Такое решение открывает новые возможности для систем смешанной реальности, например, в темном помещении можно добавить виртуальный источник света и осветить помещение, или появляется возможность увидеть отражение виртуальных объектов в реальных зеркалах. Для построения виртуальных аналогов объектов реального мира используются средства машинного обучения и нейросетевые технологии, которые успешно применяются в задачах компьютерного зрения для решения проблем ориентирования в пространстве и реконструкции окружения. Для создания цифровой копии реального окружения в данной работе представлен алгоритм с использованием RGB-D датчиков и Z-буфера для получения облака точек. Данный подход позволяет не только выделять предметы интерьера из сцены, но и определять их положение и размеры. Для аннотирования и сегментирования облака точек была использована архитектура нейронной сети «PointNet», обученная на наборе данных ScanNet. Для построения треугольной сетки использовалась нейронная сеть «Total3D understanding». В результате в данной работе была реализована система реконструкции реального помещения, которая использует в качестве входных данных RGB фотографии и облака точек. Приводится пример реконструкции простого интерьера помещения и оценка качества полученной реконструкции.
Ключевые слова:
нейронные сети, смешанная реальность, 3D сканирование, реконструкция окружения
