· AI Engineer World's Fair 2026
Как научить LLM говорить на языке Spotify
Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify
Spotify переобучает открытые LLM на semantic IDs своего каталога, и рекомендации, поиск и объяснения в одной модели становятся управляемыми естественным языком.
- Заморозка backbone на этапе привязки к каталогу — обучаются только эмбеддинги новых semantic ID токенов. По словам авторов, непрерывное предобучение на каталоге обнуляет языковые способности базовой модели, а такой подход их сохраняет.
- Beam search вместо top-P — по данным авторов, даже без constrained decoding валидные semantic IDs получаются в 98% случаев, а top-P sampling заметно снижает точность. Beam search медленнее, но авторы сочли этот компромисс оправданным.
- Контекст слушателя для LLM judge — текстовый профиль по истории прослушиваний дал 75% согласия с человеческими оценками. Поведенческие сигналы по похожим запросам, по словам авторов, подняли согласованность судьи на неоднозначных поисковых запросах на 91%.
Кому полезно: тем, кто строит рекомендации с объяснениями и управлением на естественном языке поверх собственного каталога и хочет проверять их LLM judge.
Статья по теме
Главы
Похожие доклады
Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Близко по содержанию
Одна модель для всех рекомендаций: большая ставка Netflix
AI Engineer World's Fair 2025
Близко по содержанию
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
Ключевой доклад о рекомендательных системах: улучшение рекомендаций и поиска в эпоху LLMs
AI Engineer World's Fair 2025
Близко по содержанию


