· AI Engineer World's Fair 2026
Почему надёжности в 80% недостаточно
Why 80% Reliability Isn't Good Enough — Felipe Blanes, Amazon AGI Lab
Evals должны строиться на продакшен-сигналах и на определении успеха глазами клиента, а не на статичных бенчмарках, потому что по наблюдениям автора доверие появляется примерно при 92% надёжности.
- Цикл оценок — четыре шага: определить успех с точки зрения клиента, собрать сигналы из метрик и разговоров с клиентами, разложить пробелы по модели, харнессу и продукту, приоритизировать и передать командам. По словам автора, цикл нужно крутить быстро, иначе evals устаревают.
- Trust cliff — при 80% надёжности клиенты видят в агенте дополнительную работу по мониторингу и ручному восстановлению. Автор подчёркивает, что это его наблюдения, а не универсальные пороги.
- Честность о границах — список того, что работает, что дорабатывается и что вне scope, по словам автора, повышает доверие сильнее высоких бенчмарков.
- Кейсы клиентов — для Amazon Leo добавили кэширование траекторий с откатом к модели при сбое, чтобы снизить стоимость. Для Hertz сделали нетехнический интерфейс для QA-команд.
Кому полезно: тем, кто выводит browser агентов или других агентов в продакшен и не знает, как проверять их на реальных сценариях клиентов.
Статья по теме
Главы
Похожие доклады
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026
Близко по содержанию
Создавайте правильный продукт: продуктовая инженерия (часть 2)
Близко по содержанию
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию

