В работе рассматриваются причины возникновения дискомфорта зрительного восприятия в системах смешанной реальности и алгоритмические решения, позволяющие устранить одну из основных причин дискомфорта, а именно, рассогласованность условий освещения объектов реального и виртуального миров. Для устранения данной причины дискомфорта предложен алгоритм, заключающийся в построении групп теневых лучей от точек на границах теней на точки границ объектов. Часть лучей, соответствующая условиям реального освещения, образует каустику в области реального источника света, что позволяет определить источник освещения виртуальных объектов для их корректного встраивания в систему смешанной реальности. Для классификации теней на изображении использовались сверточные нейронные сети и алгоритмы компьютерного зрения. Представлены примеры восстановления координат источника света по RGBD данным.

системы смешанной реальности, компьютерное зрение, сверточные нейронные сети

Математическое моделирование в актуальных проблемах науки и техники

Сорокин Максим Игоревич,  vergotten@gmail.com,  orcid.org/0000-0001-9093-1690,  «Национальный исследовательский университет ИТМО» (Университет ИТМО)

Жданов Дмитрий Дмитриевич,  ddzhdanov@mail.ru,  orcid.org/0000-0001-7346-8155,  «Национальный исследовательский университет ИТМО» (Университет ИТМО)

Валиев Ильдар Вагизович,  val@gin.keldysh.ru,  orcid.org/0000-0003-2937-8480,  ИПМ им. М.В. Келдыша РАН