← Каталог

· AI Engineer World's Fair 2026

Вашим агентам нужна кнопка сохранения

Your Agents Need a Save Button

Агентные запуски стоит сохранять как checkpoint исполняемого состояния, потому что обычный трейс не позволяет переиграть их с другой моделью или инструментом.

  • Checkpoint вместо трейса — трейс хранит телеметрию вызовов инструментов, а checkpoint фиксирует переменные, артефакты, код и окружение (Docker-образ или sandbox) между шагами. По словам спикера, это связывает наблюдаемость с реальным выполнением кода.
  • Replay с точки изменения — запуск можно переиграть с дешёвой моделью, например GPT-5 nano, или с подменённым инструментом, а шаги до точки изменения пропускаются, потому что их состояние уже сохранено.
  • Когорты вместо одного прогона — спикер считает, что один replay это анекдот: модель, проходящая 60% задач τ-bench, самосогласована примерно в четверти случаев. Переигрывать стоит группу дорогих, долгих или рискованных запусков и смотреть распределение результатов в JSON-отчёте, который анализируется через MCP-сервер Kitaru.
  • Экономия, которой может не быть — по исследованию Braintrust, на которое ссылается спикер, простая замена модели на дешёвую может снизить стоимость и одновременно ухудшить решение задач, поэтому оценивать нужно ценность результата, а не только цену токенов. Kitaru открыт и распространяется бесплатно.

Кому полезно: тем, кто разбирает поведение агентов в продакшене и хочет проверять смену модели или инструментов на реальных запусках, а не на синтетике.

Статья по теме

Главы

Похожие доклады