← Каталог

· AI Engineer World's Fair 2025

Чему мы научились, используя LLM в Pinterest

What We Learned from Using LLMs in Pinterest

Дообученная LLM оценивает релевантность пинов запросам лучше SearchSage, а дистилляция в bi-encoder позволяет отдавать её в продакшен.

  • Cross-encoder на LLM — запрос и текст пина подаются в одну модель, которая выдаёт оценку по пятибалльной шкале; по словам авторов, 8-миллиардная Llama 3 дала +12% к multilingual BERT и +20% к SearchSage.
  • Текст пина шире заголовка — синтетические подписи от vision-language модели и пользовательские сигналы, например названия досок и запросы с лучшей вовлечённостью, по абляции заметно поднимают качество предсказания.
  • Дистилляция в bi-encoder — мультиязычный LLM-учитель размечает выборку из дневных поисковых логов примерно в сто раз больше данных; эмбеддинги пинов считаются офлайн, эмбеддинги запросов онлайн с кэшем, попадание в который, по словам авторов, около 85%.
  • Переиспользование эмбеддингов — эмбеддинги, настроенные на релевантность, авторы используют и для похожих пинов, и для ленты, и для представления досок.

Кому полезно: тем, кто строит ранжирование поиска на LLM и хочет перенести тяжёлую модель в онлайн без потери качества.

Статья по теме

Главы

Похожие доклады