· AI Engineer World's Fair 2026
Создание замкнутого цикла evals для мультимодального агента в масштабе Uber
Building Closed-Loop Evals for a Multimodal Agent at Uber Scale
Агент, который улучшает фото блюд в Uber Eats, держится на evals с человеческой разметкой и замкнутом цикле автотюнинга, который, по словам авторов, работает без человека в контуре.
- Recall как guardrail роутера — плохое фото не должно пройти мимо обработки, поэтому роутер сверяют с золотым датасетом из человеческой разметки по recall, и только потом выкатывают модель.
- Автотюнинг промптов по расхождениям — диагностик-агент находит случаи, где ответ агента не совпал с разметкой, два субагента переписывают конфиг, а новая версия попадает в хранилище только после прохождения золотого датасета. Откат встроен.
- Pass@K для генерации — QA-проверка оценивает верность, полноту и естественность, и её замечания возвращаются в генерацию промпта. Метрика pass@K показывает долю успешных генераций на K-й итерации.
- Срезы метрик маркетплейса — конверсия в корзину и оформление заказа смотрится по гео, типу устройства и типу блюда, и тюнинг ведут по сегментам, где результат растёт.
Кому полезно: тем, кто выводит в продакшен агентов, которые редактируют изображения и должны проходить автоматические проверки качества.
Статья по теме
Главы
Похожие доклады
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию
EMMA от Waymo: как научить автомобили мыслить
AI Engineer World's Fair 2025
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
Как evals и промпты влияют на поведение агентов
AI Engineer World's Fair 2026
Близко по содержанию


