· AI Engineer World's Fair 2026
Дистиллируйте LLM, а не обслуживайте его: поиск и персонализация в DoorDash
Distill the LLM, Don't Serve It: Search & Personalization at DoorDash — Raghav Saboo, DoorDash
DoorDash переносит дорогие рассуждения LLM офлайн в метки релевантности, семантические ID и память покупателя, а дешёвые модели отдают их существующим поиску и ранжированию.
- Офлайн-разметка вместо LLM в запросе — LLM размечает пары запрос и товар по трёхуровневой шкале, затем лёгкая модель, дообученная на золотом наборе, размечает весь каталог. Эти метки становятся общей целью для retrieval и ranking.
- Relevance tower рядом с engagement — ordinal-башня с метками LLM стоит рядом с башнями кликов и конверсий и делит с ними нижние слои. Значение функции полезности балансирует релевантность и конверсию для каждой поверхности.
- Семантические ID каталога — иерархический код, выученный без меток, разделяет, например, острые соусы по типу кухни. По словам спикера, это дало рост MRR ранжирования на 4–5% и помогает новым товарам и хвосту каталога.
- Память покупателя в трёх формах — читаемый текст, латентные векторы и граф. По словам спикера, персонализированные подборки в категории pets дали около 1% роста заказов и 6% активных пользователей.
Кому полезно: командам, которые встраивают LLM в поиск и рекомендации маркетплейса и не могут тратить на каждый запрос задержку и стоимость вызова модели.
Статья по теме
Главы
Похожие доклады
Ключевой доклад о рекомендательных системах: улучшение рекомендаций и поиска в эпоху LLMs
AI Engineer World's Fair 2025
Близко по содержанию
Эффективные гибридные запросы к контексту для grounding LLM
AI Engineer Summit 2023
Близко по содержанию
Постепенно добавляем все техники RAG — запрос за запросом
AI Engineer World's Fair 2025
Близко по содержанию
Современное состояние AI-поиска и извлечения информации
AI Engineer World's Fair 2025
Близко по содержанию

