· AI Engineer World's Fair 2025
360Brew: Персонализированное ранжирование и рекомендации на основе LLM
360Brew: LLM-based Personalized Ranking and Recommendation — Hamed Firooz and Maziar Sanjabi, LinkedIn AI
Одна LLM-модель 360Brew может заменить набор задач-специфичных моделей ранжирования LinkedIn: по словам авторов, она не уступает им и на новых поверхностях.
- Промпт вместо отдельной модели — история пользователя, профиль и кандидаты превращаются в текстовый промпт с инструкцией, поэтому одна модель решает разные задачи и работает в режиме zero-shot. По словам авторов, на отдельных задачах вне обучения она сравнима с продакшен-моделями, обученными под каждую задачу.
- Сначала большая модель, потом маленькая — базовая модель на 150B параметров дистиллируется поэтапно: 8B, затем 3B, затем 1B. Прямой переход с 150B на 1B, по словам авторов, работает заметно хуже.
- Прунинг маленькими шагами — прунинг с дистилляцией после каждого шага почти не теряет качества, а агрессивный прунинг сразу даёт до 1% просадки. LM head держат в FP32, иначе вероятности схлопываются и кандидаты плохо различаются.
- Батч кандидатов за один prefill — до 500 айтемов скорятся в одном запросе: маска внимания не даёт им видеть друг друга, но они видят историю пользователя. Ядро реализовано в SGLang и vLLM; за несколько релизов, по словам авторов, задержка упала в 7 раз, а пропускная способность на GPU выросла в 30 раз.
Кому полезно: тем, кто строит ранжирование и рекомендации на большой LLM и упирается в QPS и задержку.
Статья по теме
Главы
Похожие доклады
Ключевой доклад о рекомендательных системах: улучшение рекомендаций и поиска в эпоху LLMs
AI Engineer World's Fair 2025
Близко по содержанию
Дистиллируйте LLM, а не обслуживайте его: поиск и персонализация в DoorDash
AI Engineer World's Fair 2026
Близко по содержанию
Чему мы научились, используя LLM в Pinterest
AI Engineer World's Fair 2025
Близко по содержанию
Одна модель для всех рекомендаций: большая ставка Netflix
AI Engineer World's Fair 2025
Близко по содержанию


