Материал конференции: "XIV международный научный семинар "Дискретная математика и ее приложения" имени академика О.Б. Лупанова (20-25 июня 2022 г., Москва)"
Авторы:Соколов А.П.
О выразительных возможностях ансамблей решающих деревьев
Аннотация:
Решающие деревья и их ансамбли широко применяются в машинном обучении, статистике и анализе данных. Предиктивные модели, основанные на решающих деревьях, показывают выдающиеся результаты в части качества и времени обучения. Особенно на разнородных табличных данных. Скорость работы, простота и надежность делают это семейство предиктивных моделей одним из наиболее популярных в машинном обучении. Важными параметрами при обучении ансамблей решающих деревьев (случайный лес, градиентный бустинг и др.) являются: количество деревьев и их максимальная глубина. Выбор этих параметров обычно осуществляется путем полного перебора всех возможных вариантов на обучающей выборке. В докладе будет доказана теорема о выразительных возможностях ансамбля решающих деревьев ограниченной глубины. Из данного результата следует, что глубину решающих деревьев нельзя заменить размером ансамбля.
