Головная страница ИПМ Библиотеки, издания  •  Поиск публикаций  English 
Публикация

Материал конференции: "Труды Международной конференции по компьютерной графике и зрению "Графикон""
Авторы: Абросимов К.И., Львутина Т.В., Суркова А.С.
Метрики качества генеративных моделей
Аннотация:
В рамках данной статьи рассматриваются современные метрики оценивания генеративных моделей. Особое внимание уделяется метрикам, которые применяются в области обработки естественного языка – BLUE (оценивает качество на основе сравнения полученного результата моделью и человека), NIST (основана на метрике BLUE), METEOR (основана на гармоническом среднем униграмм точности и полноты), ROUGE (. В статье представлена новая метрика, которая основана на субъективных оценках. Используемые в рассмотренной метрике субъективные оценки собираются с помощью попарного сравнения в виде шкал оценивания. Также в рамках статьи предложен алгоритм генерации музыки, построенный на основе автоматных моделей работы с ABC-нотацией, моделей дистрибутивной семантики и генеративных моделей глубоких нейронных сетей – Трансформеров. Новая метрика качества (SS-метрика), представленная в статье, применяется для оценки качества предложенного алгоритма генерации музыки в сравнении с решениями, которые предлагает человек и baselineмодели. Генерация музыки на основе baseline-модели строит продолжение музыкального фрагмента путем случайного выбора тактов из первой половины музыкального фрагмента. В ходе экспериментов удалось выяснить, что SS-метрика позволяет формализовать и обобщить субъективные оценки, это может быть использовано при оценке качества различных объектов.
Ключевые слова:
метрика, генеративные модели, анализ объектов сложной структуры, SS-метрика, генерация музыки, машинное обучение
Язык публикации: русский,  страниц: 7 (с. 124-130)
Полный текст на русском языке:
Экспорт ссылки на публикацию в формате:   RIS    BibTeX
Сведения об авторах:
  • Абросимов Кирилл Игоревич,  orcid.org/0000-0001-9262-0474,  Нижегородский государственный технический университет им. Р.Е. Алексеева
  • Львутина Татьяна Владимировна,  orcid.org/0000-0002-2061-8858,  Нижегородский государственный технический университет им. Р.Е. Алексеева
  • Суркова Анна Сергеевна,  orcid.org/0000-0003-0018-9053,  Нижегородский государственный технический университет им. Р.Е. Алексеева