← Каталог

· AI Engineer World's Fair 2026

Дистиллируйте LLM, а не обслуживайте его: поиск и персонализация в DoorDash

Distill the LLM, Don't Serve It: Search & Personalization at DoorDash — Raghav Saboo, DoorDash

DoorDash переносит дорогие рассуждения LLM офлайн в метки релевантности, семантические ID и память покупателя, а дешёвые модели отдают их существующим поиску и ранжированию.

  • Офлайн-разметка вместо LLM в запросе — LLM размечает пары запрос и товар по трёхуровневой шкале, затем лёгкая модель, дообученная на золотом наборе, размечает весь каталог. Эти метки становятся общей целью для retrieval и ranking.
  • Relevance tower рядом с engagement — ordinal-башня с метками LLM стоит рядом с башнями кликов и конверсий и делит с ними нижние слои. Значение функции полезности балансирует релевантность и конверсию для каждой поверхности.
  • Семантические ID каталога — иерархический код, выученный без меток, разделяет, например, острые соусы по типу кухни. По словам спикера, это дало рост MRR ранжирования на 4–5% и помогает новым товарам и хвосту каталога.
  • Память покупателя в трёх формах — читаемый текст, латентные векторы и граф. По словам спикера, персонализированные подборки в категории pets дали около 1% роста заказов и 6% активных пользователей.

Кому полезно: командам, которые встраивают LLM в поиск и рекомендации маркетплейса и не могут тратить на каждый запрос задержку и стоимость вызова модели.

Статья по теме

Главы

Похожие доклады