В своих предыдущих исследованиях мы обнаружили, что в европейских языках грамматическая неоднозначность наиболее частотных слов ведет себя несколько иначе, чем в более редких словах. В данном исследовании мы более подробно анализируем причины этого явления, уделяя особое внимание первой тысяче наиболее частотных токенов. Исследование современных систем снятия омонимии и синтаксического анализа показало, что всплеск разнообразия частей речи, который наблюдается в наиболее частотных слова, приводит к увеличению числа ошибок на выходе этих систем.

грамматическая неоднозначность, квантитативный анализ, статистика распределения, русский язык

Математическое моделирование в актуальных проблемах науки и техники

Клышинский Эдуард Станиславович,  ,  orcid.org/0000-0002-4020-488X,  ИПМ им. М.В. Келдыша РАН

Бунтякова Валерия Антоновна,  ,  orcid.org/0000-0003-2409-2651,  Национальный исследовательский университет «Высшая школа экономики»

Карпик Олеся Владимировна,  ,  orcid.org/0000-0002-0477-1502,  ИПМ им. М.В. Келдыша РАН