Головная страница ИПМ Библиотеки, издания  •  Поиск публикаций  English 
Публикация

Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон""
Авторы: Сорокин М.И., Жданов Д.Д., Жданов А.Д.
Метод построения цифрового аналога реального окружения с использованием нейронных сетей
Аннотация:
Проблема формирования естественных условий освещения виртуальных объектов и взаимодействия виртуальных объектов с реальным миром еще полностью не решена. Целью данного исследования является исследование возможности устранения причин конфликтов зрительного восприятия систем смешанной реальности за счет замены реальных объектов их виртуальными аналогами. Основная идея – это перевод всех объектов реального мира в виртуальное окружение. Это решение переводит систему смешанной реальности в систему виртуальной реальности и обеспечивает корректное физическое и световое взаимодействие объектов виртуального и реального миров. Такое решение открывает новые возможности для систем смешанной реальности, например, в темном помещении можно добавить виртуальный источник света и осветить помещение, или появляется возможность увидеть отражение виртуальных объектов в реальных зеркалах. Для построения виртуальных аналогов объектов реального мира используются средства машинного обучения и нейросетевые технологии, которые успешно применяются в задачах компьютерного зрения для решения проблем ориентирования в пространстве и реконструкции окружения. Для создания цифровой копии реального окружения в данной работе представлен алгоритм с использованием RGB-D датчиков и Z-буфера для получения облака точек. Данный подход позволяет не только выделять предметы интерьера из сцены, но и определять их положение и размеры. Для аннотирования и сегментирования облака точек была использована архитектура нейронной сети «PointNet», обученная на наборе данных ScanNet. Для построения треугольной сетки использовалась нейронная сеть «Total3D understanding». В результате в данной работе была реализована система реконструкции реального помещения, которая использует в качестве входных данных RGB фотографии и облака точек. Приводится пример реконструкции простого интерьера помещения и оценка качества полученной реконструкции.
Ключевые слова:
нейронные сети, смешанная реальность, 3D сканирование, реконструкция окружения
Язык публикации: русский,  страниц: 12 (с. 87-98)
Полный текст на русском языке:
Экспорт ссылки на публикацию в формате:   RIS    BibTeX
Сведения об авторах:
  • Сорокин Максим Игоревич,  orcid.org/0000-0001-9093-1690,  Университет ИТМО
  • Жданов Дмитрий Дмитриевич,  orcid.org/0000-0001-7346-8155,  Университет ИТМО
  • Жданов Андрей Дмитриевич,  orcid.org/0000-0002-2569-1982,  Университет ИТМО