← Каталог

· AI Engineer World's Fair 2026

Почему надёжности в 80% недостаточно

Why 80% Reliability Isn't Good Enough — Felipe Blanes, Amazon AGI Lab

Evals должны строиться на продакшен-сигналах и на определении успеха глазами клиента, а не на статичных бенчмарках, потому что по наблюдениям автора доверие появляется примерно при 92% надёжности.

  • Цикл оценок — четыре шага: определить успех с точки зрения клиента, собрать сигналы из метрик и разговоров с клиентами, разложить пробелы по модели, харнессу и продукту, приоритизировать и передать командам. По словам автора, цикл нужно крутить быстро, иначе evals устаревают.
  • Trust cliff — при 80% надёжности клиенты видят в агенте дополнительную работу по мониторингу и ручному восстановлению. Автор подчёркивает, что это его наблюдения, а не универсальные пороги.
  • Честность о границах — список того, что работает, что дорабатывается и что вне scope, по словам автора, повышает доверие сильнее высоких бенчмарков.
  • Кейсы клиентов — для Amazon Leo добавили кэширование траекторий с откатом к модели при сбое, чтобы снизить стоимость. Для Hertz сделали нетехнический интерфейс для QA-команд.

Кому полезно: тем, кто выводит browser агентов или других агентов в продакшен и не знает, как проверять их на реальных сценариях клиентов.

Статья по теме

Главы

Похожие доклады