Головная страница ИПМ Библиотеки, издания  •  Поиск публикаций  English 
Публикация

Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон" (19-21 сентября 2022 г., Рязань)"
Авторы: Жуковская В.А., Пятаева А.В.
Рекуррентная нейронная сеть для распознавания жестов русского языка с учетом языкового диалекта Сибирского региона
Аннотация:
Распознавание жестов является важной задачей, в частности для общения глухого и слабослышащего населения с людьми, не владеющими жестовым языком. Русский жестовый язык изучен слабо, русский жестовый язык Сибирского региона обладает значительными отличиями от других в рамках русской языковой группы. Для русского жестового языка отсутствует общепризнанный набор данных. В работе представлен алгоритм распознавания жестов по видеоданным. В основе алгоритма распознавания жестов лежит выделение ключевых признаков рук и позы человека. Классификация жестов выполнена с помощью рекуррентной нейронной сети LSTM. Для обучения и тестирования результатов распознавания жестов самостоятельно разработан набор данных, состоящий из 10 жестовых слов. Отбор слов для набора данных выполнен среди наиболее популярных слов русского языка, а также с учетом максимальной разницы в произношении жестов языкового диалекта Сибирского региона. Реализация алгоритма распознавания жестов выполнена с использованием технологий проектирования и глубокого обучения нейронных сетей Keras, библиотеки компьютерного зрения OpenCV, фреймворка машинного обучения MediaPipe, а также посредством других вспомогательных библиотек. Экспериментальные исследования, проведенные на 300 видеопоследовательностях, подтверждают эффективность предложенного алгоритма.
Ключевые слова:
распознавание жестов, рекуррентная нейронная сеть, жесты Сибирского региона, глубокое обучение
Язык публикации: русский,  страниц: 10 (с. 538-547)
Полный текст на русском языке:
Экспорт ссылки на публикацию в формате:   RIS    BibTeX
Сведения об авторах:
  • Жуковская В.А.,  orcid.org/0000-0002-6113-3128,  Сибирский федеральный университет
  • Пятаева А.В.,  orcid.org/0000-0002-0140-263X,  Сибирский федеральный университет