Головная страница ИПМ Библиотеки, издания  •  Поиск публикаций  English 
Публикация

Препринт ИПМ № 67, Москва, 2021 г.
Авторы: Сорокин М.И., Жданов Д.Д., Валиев И.В.
Восстановление положения источников освещения сцены в системах смешанной реальности с использованием сверточных нейронных сетей и трассировки теневых лучей
Аннотация:
В работе рассматриваются причины возникновения дискомфорта зрительного восприятия в системах смешанной реальности и алгоритмические решения, позволяющие устранить одну из основных причин дискомфорта, а именно, рассогласованность условий освещения объектов реального и виртуального миров. Для устранения данной причины дискомфорта предложен алгоритм, заключающийся в построении групп теневых лучей от точек на границах теней на точки границ объектов. Часть лучей, соответствующая условиям реального освещения, образует каустику в области реального источника света, что позволяет определить источник освещения виртуальных объектов для их корректного встраивания в систему смешанной реальности. Для классификации теней на изображении использовались сверточные нейронные сети и алгоритмы компьютерного зрения. Представлены примеры восстановления координат источника света по RGBD данным.
Ключевые слова:
системы смешанной реальности, компьютерное зрение, сверточные нейронные сети
Язык публикации: русский,  страниц: 18
Направление исследований:
Математическое моделирование в актуальных проблемах науки и техники
Полный текст на русском языке:
Экспорт ссылки на публикацию в формате:   RIS    BibTex
Статистика просмотров (обновляется раз в сутки):
за последние 30 дней — 28 (+28), всего с 30.09.2021 — 28
Сведения об авторах:
  • Сорокин Максим Игоревич,  orcid.org/0000-0001-9093-1690,  «Национальный исследовательский университет ИТМО» (Университет ИТМО)
  • Жданов Дмитрий Дмитриевич,  orcid.org/0000-0001-7346-8155,  «Национальный исследовательский университет ИТМО» (Университет ИТМО)
  • Валиев Ильдар Вагизович,  orcid.org/0000-0003-2937-8480,  ИПМ им. М.В. Келдыша РАН