← Каталог

· AI Engineer World's Fair 2026

Создание замкнутого цикла evals для мультимодального агента в масштабе Uber

Building Closed-Loop Evals for a Multimodal Agent at Uber Scale

Агент, который улучшает фото блюд в Uber Eats, держится на evals с человеческой разметкой и замкнутом цикле автотюнинга, который, по словам авторов, работает без человека в контуре.

  • Recall как guardrail роутера — плохое фото не должно пройти мимо обработки, поэтому роутер сверяют с золотым датасетом из человеческой разметки по recall, и только потом выкатывают модель.
  • Автотюнинг промптов по расхождениям — диагностик-агент находит случаи, где ответ агента не совпал с разметкой, два субагента переписывают конфиг, а новая версия попадает в хранилище только после прохождения золотого датасета. Откат встроен.
  • Pass@K для генерации — QA-проверка оценивает верность, полноту и естественность, и её замечания возвращаются в генерацию промпта. Метрика pass@K показывает долю успешных генераций на K-й итерации.
  • Срезы метрик маркетплейса — конверсия в корзину и оформление заказа смотрится по гео, типу устройства и типу блюда, и тюнинг ведут по сегментам, где результат растёт.

Кому полезно: тем, кто выводит в продакшен агентов, которые редактируют изображения и должны проходить автоматические проверки качества.

Статья по теме

Главы

Похожие доклады