← Каталог

· AI Engineer World's Fair 2025

Персонализация в эпоху LLM

Personalization in the Era of LLMs

Spotify объединяет векторы пользователей и semantic ID каталога с open-weight LLM, получая генеративный рекомендатель, который можно направлять текстом.

  • Semantic ID вместо сырых векторов — эмбеддинг трека или эпизода сжимается примерно в шесть иерархических токенов, и LLM генерирует следующий элемент так же, как следующее слово. Исполнители из одного жанра получают совпадающие первые токены, а нишевые различия кодируются в последующих.
  • Пользовательский вектор как soft token — эмбеддинг пользователя проецируется в пространство LLM и вставляется в промпт, поэтому одна модель даёт разные рекомендации разным людям.
  • Дообучение open-weight моделей — Llama и Qwen дообучаются на данных каталога Spotify. По словам спикера, это даёт управляемость и объяснимость, но модель может забывать общие знания (catastrophic forgetting).
  • Масштаб и статус — эмбеддинги пользователей пересчитываются ежедневно для более чем миллиарда пользователей. По словам спикера, на внутренних метриках результаты положительные, а рекомендация следующего эпизода уже работает в продакшене.

Кому полезно: тем, кто строит рекомендательные системы на LLM и хочет совместить поведенческие данные пользователей с каталогом контента.

Статья по теме

На какие вопросы отвечает доклад

  • Как представить трек или подкаст-эпизод токенами, чтобы LLM генерировала следующий элемент?

    Вектор контента сжимают в 4–6 иерархических токенов (semantic IDs), похожих на слова. Модель авторегрессивно генерирует следующий токен, то есть следующий трек или эпизод, по истории прослушиваний.

    ▶ 13:28Иерархические токены контента и генерация следующего элемента
  • Как персонализировать ответы LLM под отдельного пользователя без обучения на данных каждого?

    Пользовательский вектор проецируют в пространство LLM и вставляют в промпт как soft token. Модель обобщает на уровне коллаборативной фильтрации, а персонализация идёт через этот токен.

    ▶ 13:28Иерархические токены контента и генерация следующего элемента
  • Как заменить набор отдельных рекомендательных моделей для каждого продукта одной генеративной моделью?

    Классическая схема состоит из генерации кандидатов и ранжирования, и у каждой команды своя модель. Авторы переходят к единой модели на основе LLM, которой пользователь может управлять через естественный язык.

    ▶ 6:37Единые рекомендательные модели и эмбеддинги пользователей
  • Как перейти от автокодировщиков к трансформерам для пользовательских эмбеддингов?

    Автокодировщик сжимал признаки пользователя в вектор и восстанавливал их. Сейчас история взаимодействий подаётся в промпт трансформера как контекст вместе с запросом и элементом, и модель учится на данных миллионов пользователей.

    ▶ 8:26Представление слушателей, треков и выпусков подкастов
  • Как дообучить open-weight LLM на данных каталога и не потерять общие знания модели?

    Модели Llama и Qwen дообучают через CPT и SFT на данных платформы. По словам авторов, катастрофическое забывание остаётся проблемой и требует компромиссов, но модель хорошо сочетает общие знания с данными платформы.

    ▶ 8:26Представление слушателей, треков и выпусков подкастов

Главы

Похожие доклады