Сегментация освещенных участков сцены с использованием полносверточных нейронных сетей и алгоритмов компьютерного зрения для систем дополненной реальности
Аннотация:
Актуальность данной темы обусловлена бурным развитием систем виртуальной и дополненной реальности. Проблема заключается в формировании естественных условий освещения объектов виртуального мира в реальном пространстве. Для решения задачи определения источников света и восстановления его оптических параметров была предложена полносверточная нейронная сеть, позволяющая «схватить» особенности поведения света. На выходе нейронной сети получаем сегментированное изображение с классами и уровнями освещенности. Полносверточная нейронная сеть отлично подходит для сегментации изображения, поэтому в качестве «энкодера» была взята архитектура VGG-16 со слоями, которые сворачивают некую область входного изображения до 1x1 пикселя и классифицируют его к одному из классов. Обучение полносверточной нейронной сети осуществлялось на 221 тренировочных и 39 проверочных изображениях со скоростью обучения 1E-2 на 200 эпохах. После обучения по критерию оценки “IoU” (intersection over union) точность составила порядка 70 процентов, а точность классификации к первому классу составила практически 90 процентов.
