Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон" (19-21 сентября 2022 г., Рязань)"
Авторы:Рябинин К.В., Алексеева С.В., Петрова Т.Е.
Автоматический детектор областей интереса для мобильных айтрекеров
Аннотация:
Статья посвящена автоматическому обнаружению областей интереса в видеопотоках, полученных с помощью мобильных айтрекеров. Определение таких областей на визуальном стимуле, просматриваемом информантом, является важным шагом в организации любого эксперимента, основанного на отслеживании взгляда. Если поле зрения информанта стационарно, области интереса можно выбрать вручную, но когда мы используем мобильные айтрекеры, поле зрения обычно постоянно меняется, поэтому автоматизация крайне необходима. Мы предлагаем использовать алгоритмы компьютерного зрения для автоматического определения заданного 2D-шаблона стимула в видеопотоке и построения гомографического преобразования, которое может отображать неискаженный шаблон стимула в систему координат видеокадра. Параллельно с этим выполняется сегментация шаблона стимула на области интереса, и области интереса отображаются на видеокадр. Рассматриваемые стимулы — это тексты, набранные определенным шрифтом, а области интереса — отдельные слова в этих текстах. Оптическое распознавание символов, используемое механизмом Tesseract, используется для сегментации. Расположение текста зависит от комбинации преобразования объектов, не зависящих от масштаба, и быстрой библиотеки для приближенных ближайших соседей. Гомография построена с использованием консенсуса случайных выборок. Все алгоритмы реализованы на основе библиотеки OpenCV в виде микросервисов в рамках основанной на онтологии платформы SciVi, которая предоставляет инструменты высокого уровня для создания конвейеров с использованием парадигмы визуального программирования на основе потоков данных. Предлагаемый конвейер был протестирован на реальных данных слежения за взглядом и доказал свою эффективность и надежность.
Рябинин Константин Валентинович, , orcid.org/0000-0002-8353-7641, Санкт-Петербургский государственный университет; Пермский государственный национальный исследовательский университет
