· AI Engineer World's Fair 2025
Как превращать провалы в функции: непростые уроки Zapier по evals
Turning Fails into Features: Zapier’s Hard-Won Eval Lessons
Надёжность агента в продакшене, по словам авторов Zapier, держится на полных трейсах, неявном фидбеке и evals, а финальную проверку даёт A/B тест на части трафика.
- Полные трейсы — логируйте вызовы модели, а также tool calls, их ошибки и пре- и постобработку, в той же форме, что и в рантайме. Тогда входы и ожидаемые выходы переходят в eval почти без работы.
- Неявный фидбек — тест агента перед включением, копирование ответа, повторный переформулированный запрос и ругань в чате дают сигнал без просьб к пользователю. LLM группирует фрустрации в еженедельный отчёт.
- Траекторные evals — unit-тесты на отдельные шаги переобучаются под текущую модель, а разные модели идут разными путями. Траекторные evals проверяют финальное состояние, все tool calls и артефакты, а окружение копируют синтетически вместо заглушек.
- Сравнение моделей — reasoning-модель через Braintrust MCP разобрала прогоны Gemini Pro и Claude: Claude оказался решительным исполнителем, а Gemini задавал лишние уточнения и иногда галлюцинировал структуры JSON.
Кому полезно: тем, кто выводит агентов в продакшен и строит evals с нуля.
Статья по теме
Главы
Ещё доклады: Rafal Wilinski
Страница спикера →От 36% до 100%: как самоулучшающиеся агенты создают собственные навыки
AI Engineer World's Fair 2026
Похожие доклады
Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Близко по содержанию
Как мы создали агента, который сам себя улучшает
AI Engineer World's Fair 2026
Близко по содержанию
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию


