← Каталог

· AI Engineer World's Fair 2025

Как превращать провалы в функции: непростые уроки Zapier по evals

Turning Fails into Features: Zapier’s Hard-Won Eval Lessons

Надёжность агента в продакшене, по словам авторов Zapier, держится на полных трейсах, неявном фидбеке и evals, а финальную проверку даёт A/B тест на части трафика.

  • Полные трейсы — логируйте вызовы модели, а также tool calls, их ошибки и пре- и постобработку, в той же форме, что и в рантайме. Тогда входы и ожидаемые выходы переходят в eval почти без работы.
  • Неявный фидбек — тест агента перед включением, копирование ответа, повторный переформулированный запрос и ругань в чате дают сигнал без просьб к пользователю. LLM группирует фрустрации в еженедельный отчёт.
  • Траекторные evals — unit-тесты на отдельные шаги переобучаются под текущую модель, а разные модели идут разными путями. Траекторные evals проверяют финальное состояние, все tool calls и артефакты, а окружение копируют синтетически вместо заглушек.
  • Сравнение моделей — reasoning-модель через Braintrust MCP разобрала прогоны Gemini Pro и Claude: Claude оказался решительным исполнителем, а Gemini задавал лишние уточнения и иногда галлюцинировал структуры JSON.

Кому полезно: тем, кто выводит агентов в продакшен и строит evals с нуля.

Статья по теме

Главы

Ещё доклады: Rafal Wilinski

Страница спикера →

Похожие доклады