Головная страница ИПМ Библиотеки, издания  •  Поиск публикаций  English 
Публикация

Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон" (19-21 сентября 2023 г., Москва)"
Авторы: Князь В.В., Князь В.А., Мошканцев П.В., Мельников С.
DINONAT: изучение самостоятельного обучения с помощью преобразователей внимания соседей
Аннотация:
Методы, основанные на данных, достигли большого прогресса в широком спектре приложений машинного зрения и анализа данных благодаря новым возможностям сбора, аннотирования и обработки огромных объемов данных, причем обучение с учителем дало наиболее впечатляющие результаты. К сожалению, чрезвычайно трудоемкий процесс аннотирования данных ограничивает широкое применение глубокого обучения во многих приложениях. Для решения этой проблемы недавно было предложено несколько подходов, таких как обучение без учителя или обучение со слабым контролем. В настоящее время обучение с самоконтролем демонстрирует самые современные результаты и превосходит обучение с учителем для многих задач. Еще одной современной моделью нейронных сетей являются трансформаторные сети, которые могут обеспечить высокую производительность благодаря гибкости модели. Более того, качество аннотации напрямую влияет на качество работы сети. С этой точки зрения важно проанализировать, какие функции использует сеть в процессе обучения. Изучение механизма самовнимания позволяет выявить эти особенности и использовать их в процессе аннотирования. Настоящее исследование рассматривает проблему самоконтролируемого обучения трансформаторных сетей как многообещающий подход, позволяющий сделать шаг вперед в самоадаптации моделей нейронных сетей. В частности, мы изучаем кросс-модальную применимость самостоятельного обучения с использованием сети Transformer, предварительно обученной на цветных изображениях, для фильтрации данных в наборах данных тепловых изображений. Результаты оценки показывают, что сеть Transformer, основанная на механизме самообслуживания, идентифицирует одни и те же функции как в цветных, так и в наборах данных тепловых изображений.
Ключевые слова:
самостоятельное обучение, нейронные сети, механизмы локального внимания
Язык публикации: английский,  страниц: 9 (с. 427-435)
Полный текст на английском языке:
Экспорт ссылки на публикацию в формате:   RIS    BibTeX
Сведения об авторах:
  • Князь Владимир Владимирович,  orcid.org/0000-0003-2912-9986Государственный научно-исследовательский институт авиационных систем; Московский физико-технический институт
  • Князь Владимир Александрович,  orcid.org/0000-0002-4466-244XГосударственный научно-исследовательский институт авиационных систем; Московский физико-технический институт
  • Мошканцев Петр Владиславовмч,  orcid.org/0000-0001-9624-4322Государственный научно-исследовательский институт авиационных систем
  • Мельников Сергей,  Государственный научно-исследовательский институт авиационных систем