← Каталог

· AI Engineer World's Fair 2026

Как научить LLM говорить на языке Spotify

Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify

Spotify переобучает открытые LLM на semantic IDs своего каталога, и рекомендации, поиск и объяснения в одной модели становятся управляемыми естественным языком.

  • Заморозка backbone на этапе привязки к каталогу — обучаются только эмбеддинги новых semantic ID токенов. По словам авторов, непрерывное предобучение на каталоге обнуляет языковые способности базовой модели, а такой подход их сохраняет.
  • Beam search вместо top-P — по данным авторов, даже без constrained decoding валидные semantic IDs получаются в 98% случаев, а top-P sampling заметно снижает точность. Beam search медленнее, но авторы сочли этот компромисс оправданным.
  • Контекст слушателя для LLM judge — текстовый профиль по истории прослушиваний дал 75% согласия с человеческими оценками. Поведенческие сигналы по похожим запросам, по словам авторов, подняли согласованность судьи на неоднозначных поисковых запросах на 91%.

Кому полезно: тем, кто строит рекомендации с объяснениями и управлением на естественном языке поверх собственного каталога и хочет проверять их LLM judge.

Статья по теме

Главы

Похожие доклады