Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон" (19-21 сентября 2022 г., Рязань)"
Авторы:Жуковская В.А., Пятаева А.В.
Рекуррентная нейронная сеть для распознавания жестов русского языка с учетом языкового диалекта Сибирского региона
Аннотация:
Распознавание жестов является важной задачей, в частности для общения глухого и слабослышащего населения с людьми, не владеющими жестовым языком. Русский жестовый язык изучен слабо, русский жестовый язык Сибирского региона обладает значительными отличиями от других в рамках русской языковой группы. Для русского жестового языка отсутствует общепризнанный набор данных. В работе представлен алгоритм распознавания жестов по видеоданным. В основе алгоритма распознавания жестов лежит выделение ключевых признаков рук и позы человека. Классификация жестов выполнена с помощью рекуррентной нейронной сети LSTM. Для обучения и тестирования результатов распознавания жестов самостоятельно разработан набор данных, состоящий из 10 жестовых слов. Отбор слов для набора данных выполнен среди наиболее популярных слов русского языка, а также с учетом максимальной разницы в произношении жестов языкового диалекта Сибирского региона. Реализация алгоритма распознавания жестов выполнена с использованием технологий проектирования и глубокого обучения нейронных сетей Keras, библиотеки компьютерного зрения OpenCV, фреймворка машинного обучения MediaPipe, а также посредством других вспомогательных библиотек. Экспериментальные исследования, проведенные на 300 видеопоследовательностях, подтверждают эффективность предложенного алгоритма.
Ключевые слова:
распознавание жестов, рекуррентная нейронная сеть, жесты Сибирского региона, глубокое обучение