← Каталог

· AI Engineer World's Fair 2025

360Brew: Персонализированное ранжирование и рекомендации на основе LLM

360Brew: LLM-based Personalized Ranking and Recommendation — Hamed Firooz and Maziar Sanjabi, LinkedIn AI

Одна LLM-модель 360Brew может заменить набор задач-специфичных моделей ранжирования LinkedIn: по словам авторов, она не уступает им и на новых поверхностях.

  • Промпт вместо отдельной модели — история пользователя, профиль и кандидаты превращаются в текстовый промпт с инструкцией, поэтому одна модель решает разные задачи и работает в режиме zero-shot. По словам авторов, на отдельных задачах вне обучения она сравнима с продакшен-моделями, обученными под каждую задачу.
  • Сначала большая модель, потом маленькая — базовая модель на 150B параметров дистиллируется поэтапно: 8B, затем 3B, затем 1B. Прямой переход с 150B на 1B, по словам авторов, работает заметно хуже.
  • Прунинг маленькими шагами — прунинг с дистилляцией после каждого шага почти не теряет качества, а агрессивный прунинг сразу даёт до 1% просадки. LM head держат в FP32, иначе вероятности схлопываются и кандидаты плохо различаются.
  • Батч кандидатов за один prefill — до 500 айтемов скорятся в одном запросе: маска внимания не даёт им видеть друг друга, но они видят историю пользователя. Ядро реализовано в SGLang и vLLM; за несколько релизов, по словам авторов, задержка упала в 7 раз, а пропускная способность на GPU выросла в 30 раз.

Кому полезно: тем, кто строит ранжирование и рекомендации на большой LLM и упирается в QPS и задержку.

Статья по теме

Главы

Похожие доклады