· AI Engineer World's Fair 2026
Вашим агентам нужна кнопка сохранения
Your Agents Need a Save Button
Агентные запуски стоит сохранять как checkpoint исполняемого состояния, потому что обычный трейс не позволяет переиграть их с другой моделью или инструментом.
- Checkpoint вместо трейса — трейс хранит телеметрию вызовов инструментов, а checkpoint фиксирует переменные, артефакты, код и окружение (Docker-образ или sandbox) между шагами. По словам спикера, это связывает наблюдаемость с реальным выполнением кода.
- Replay с точки изменения — запуск можно переиграть с дешёвой моделью, например GPT-5 nano, или с подменённым инструментом, а шаги до точки изменения пропускаются, потому что их состояние уже сохранено.
- Когорты вместо одного прогона — спикер считает, что один replay это анекдот: модель, проходящая 60% задач τ-bench, самосогласована примерно в четверти случаев. Переигрывать стоит группу дорогих, долгих или рискованных запусков и смотреть распределение результатов в JSON-отчёте, который анализируется через MCP-сервер Kitaru.
- Экономия, которой может не быть — по исследованию Braintrust, на которое ссылается спикер, простая замена модели на дешёвую может снизить стоимость и одновременно ухудшить решение задач, поэтому оценивать нужно ценность результата, а не только цену токенов. Kitaru открыт и распространяется бесплатно.
Кому полезно: тем, кто разбирает поведение агентов в продакшене и хочет проверять смену модели или инструментов на реальных запусках, а не на синтетике.
Статья по теме
Главы
Похожие доклады
Ваш агент дал сбой в продакшене. Удачи с воспроизведением
AI Engineer World's Fair 2026
Близко по содержанию
Исправление агента сломало что-то ещё
Близко по содержанию
Два подхода к долговечным агентам: replay и snapshots
AI Engineer World's Fair 2025
Близко по содержанию
Agent-фреймворки вредны
AI Engineer World's Fair 2026
Близко по содержанию

