← Каталог

· AI Engineer World's Fair 2026

От трассировок agents к симуляциям agents

From Agent Traces to Agent Simulations — Rustem Feyzkhanov, Snorkel AI

Трассы продакшен-агентов стоит превращать в повторяемые симуляции с Docker-окружениями, и такой приватный бенчмарк должен стать обязательной проверкой перед релизом агента.

  • Структура задачи — агент видит только instruction.md и окружение, а oracle-решение и верификаторы скрыты; oracle нужен, чтобы убедиться, что задачу вообще можно решить.
  • Проверка итогового состояния — верификатор смотрит на состояние базы, ответы API и трассу; детерминированные проверки сочетаются с LLM-судьями, а эксперты разбирают только расхождения между ними.
  • Бенчмарк как код — у набора задач свой CI: закреплённые зависимости, прогон oracle и несколько прогонов агента, по доле успехов задачи делятся на простые, средние и сложные.
  • Петля из продакшена — провалы из трасс наблюдаемости попадают в набор задач, а исправление проверяется на нём как регрессионная проверка перед релизом.

Кому полезно: тем, кто строит приватные бенчмарки для агентов в продакшене. Доклад во многом про подход Snorkel AI, но схема задач и верификаторов переносится на любой стек.

Статья по теме

Главы

Похожие доклады