Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон" (19-21 сентября 2022 г., Рязань)"
Авторы:Жданов А.Д., Жданов Д.Д.
Создание условий для естественного зрительного восприятия в видео-прозрачных системах смешанной реальности
Аннотация:
В данной работе представлены результаты исследования методов коррекции конфликта конвергенции, который может возникнуть при использовании систем смешанной реальности. Существуют два принципиально различных типа систем смешанной реальности. Первый – это оптически-прозрачные системы, второй – видео-прозрачные. Принципиальное различие между ними заключается в том, каким образом пользователь наблюдает объекты реального мира. Если в оптически-прозрачных системах они наблюдаются непосредственно, то в видео-прозрачных системах изображение реального мира отображается на экране устройства одновременно с изображением виртуальных объектов. В результате, при наблюдении объектов реального мира с использованием видео-прозрачных систем смешанной реальности может возникнуть конфликт конвергенции и аккомодации зрения, аналогичный с возникающим в системах виртуальной реальности. Большинство существующих видео-прозрачных систем смешанной реальности имеют две фиксированные камеры, расположенные на передней части устройства, предназначенные для получения изображения, которое далее будет отображаться на экранах устройства и наблюдаться пользователем. Как правило, для этих целей используются две фронтальные камеры, для каждого из глаз пользователя. Однако в данном случае конфликт конвергенции возникает из-за несовпадения фиксированного направления камер с постоянно изменяющимся направлением глаз пользователя. В данной работе авторы предлагают использовать специальные методы обработки изображений, полученных с фронтальных RGB камер, и карты глубин для восстановления изображения с учетом правильной конвергенции глаз пользователя. Были рассмотрены различные модели, отличающиеся количеством и расположением фронтальных камер, в том числе решения с использованием одной RGBD-камеры и нескольких RGB-камер. Представлены результаты моделирования. Показаны плюсы и минусы предложенных методов восстановления конвергенции.
