· AI Engineer World's Fair 2025
Персонализация в эпоху LLM
Personalization in the Era of LLMs
Spotify объединяет векторы пользователей и semantic ID каталога с open-weight LLM, получая генеративный рекомендатель, который можно направлять текстом.
- Semantic ID вместо сырых векторов — эмбеддинг трека или эпизода сжимается примерно в шесть иерархических токенов, и LLM генерирует следующий элемент так же, как следующее слово. Исполнители из одного жанра получают совпадающие первые токены, а нишевые различия кодируются в последующих.
- Пользовательский вектор как soft token — эмбеддинг пользователя проецируется в пространство LLM и вставляется в промпт, поэтому одна модель даёт разные рекомендации разным людям.
- Дообучение open-weight моделей — Llama и Qwen дообучаются на данных каталога Spotify. По словам спикера, это даёт управляемость и объяснимость, но модель может забывать общие знания (catastrophic forgetting).
- Масштаб и статус — эмбеддинги пользователей пересчитываются ежедневно для более чем миллиарда пользователей. По словам спикера, на внутренних метриках результаты положительные, а рекомендация следующего эпизода уже работает в продакшене.
Кому полезно: тем, кто строит рекомендательные системы на LLM и хочет совместить поведенческие данные пользователей с каталогом контента.
Статья по теме
На какие вопросы отвечает доклад
Как представить трек или подкаст-эпизод токенами, чтобы LLM генерировала следующий элемент?
Вектор контента сжимают в 4–6 иерархических токенов (semantic IDs), похожих на слова. Модель авторегрессивно генерирует следующий токен, то есть следующий трек или эпизод, по истории прослушиваний.
▶ 13:28Иерархические токены контента и генерация следующего элементаКак персонализировать ответы LLM под отдельного пользователя без обучения на данных каждого?
Пользовательский вектор проецируют в пространство LLM и вставляют в промпт как soft token. Модель обобщает на уровне коллаборативной фильтрации, а персонализация идёт через этот токен.
▶ 13:28Иерархические токены контента и генерация следующего элементаКак заменить набор отдельных рекомендательных моделей для каждого продукта одной генеративной моделью?
Классическая схема состоит из генерации кандидатов и ранжирования, и у каждой команды своя модель. Авторы переходят к единой модели на основе LLM, которой пользователь может управлять через естественный язык.
▶ 6:37Единые рекомендательные модели и эмбеддинги пользователейКак перейти от автокодировщиков к трансформерам для пользовательских эмбеддингов?
Автокодировщик сжимал признаки пользователя в вектор и восстанавливал их. Сейчас история взаимодействий подаётся в промпт трансформера как контекст вместе с запросом и элементом, и модель учится на данных миллионов пользователей.
▶ 8:26Представление слушателей, треков и выпусков подкастовКак дообучить open-weight LLM на данных каталога и не потерять общие знания модели?
Модели Llama и Qwen дообучают через CPT и SFT на данных платформы. По словам авторов, катастрофическое забывание остаётся проблемой и требует компромиссов, но модель хорошо сочетает общие знания с данными платформы.
▶ 8:26Представление слушателей, треков и выпусков подкастов
Главы
Похожие доклады
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию
Одна модель для всех рекомендаций: большая ставка Netflix
AI Engineer World's Fair 2025
Близко по содержанию
Ключевой доклад о рекомендательных системах: улучшение рекомендаций и поиска в эпоху LLMs
AI Engineer World's Fair 2025
Близко по содержанию
Дистиллируйте LLM, а не обслуживайте его: поиск и персонализация в DoorDash
AI Engineer World's Fair 2026
Близко по содержанию

