· AI Engineer World's Fair 2025
Чему мы научились, используя LLM в Pinterest
What We Learned from Using LLMs in Pinterest
Дообученная LLM оценивает релевантность пинов запросам лучше SearchSage, а дистилляция в bi-encoder позволяет отдавать её в продакшен.
- Cross-encoder на LLM — запрос и текст пина подаются в одну модель, которая выдаёт оценку по пятибалльной шкале; по словам авторов, 8-миллиардная Llama 3 дала +12% к multilingual BERT и +20% к SearchSage.
- Текст пина шире заголовка — синтетические подписи от vision-language модели и пользовательские сигналы, например названия досок и запросы с лучшей вовлечённостью, по абляции заметно поднимают качество предсказания.
- Дистилляция в bi-encoder — мультиязычный LLM-учитель размечает выборку из дневных поисковых логов примерно в сто раз больше данных; эмбеддинги пинов считаются офлайн, эмбеддинги запросов онлайн с кэшем, попадание в который, по словам авторов, около 85%.
- Переиспользование эмбеддингов — эмбеддинги, настроенные на релевантность, авторы используют и для похожих пинов, и для ленты, и для представления досок.
Кому полезно: тем, кто строит ранжирование поиска на LLM и хочет перенести тяжёлую модель в онлайн без потери качества.
Статья по теме
Главы
Похожие доклады
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию
Одних векторов недостаточно: гибридный поиск и извлечение данных
AI Engineer World's Fair 2026
Близко по содержанию
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
Близко по содержанию
Скрытая жизнь эмбеддингов
AI Engineer Summit 2023
Близко по содержанию


