· AI Engineer World's Fair 2026
От трассировок agents к симуляциям agents
From Agent Traces to Agent Simulations — Rustem Feyzkhanov, Snorkel AI
Трассы продакшен-агентов стоит превращать в повторяемые симуляции с Docker-окружениями, и такой приватный бенчмарк должен стать обязательной проверкой перед релизом агента.
- Структура задачи — агент видит только
instruction.mdи окружение, а oracle-решение и верификаторы скрыты; oracle нужен, чтобы убедиться, что задачу вообще можно решить. - Проверка итогового состояния — верификатор смотрит на состояние базы, ответы API и трассу; детерминированные проверки сочетаются с LLM-судьями, а эксперты разбирают только расхождения между ними.
- Бенчмарк как код — у набора задач свой CI: закреплённые зависимости, прогон oracle и несколько прогонов агента, по доле успехов задачи делятся на простые, средние и сложные.
- Петля из продакшена — провалы из трасс наблюдаемости попадают в набор задач, а исправление проверяется на нём как регрессионная проверка перед релизом.
Кому полезно: тем, кто строит приватные бенчмарки для агентов в продакшене. Доклад во многом про подход Snorkel AI, но схема задач и верификаторов переносится на любой стек.
Статья по теме
Главы
Похожие доклады
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Близко по содержанию
Как тестировать агентов на реальных задачах с Harbor
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию

