← Каталог

Исправление агента сломало что-то ещё

Your Agent Fix Just Broke Something Else - Sofia Jakovcevic, Arize AI

Регрессионные тесты для агентов стоит строить на продакшен-трейсах, потому что однострочная правка промпта меняет поведение в рантайме, а общий балл это скрывает.

  • Трейсы вместо диффа — правка промпта меняет вызовы инструментов, handoffs и пути выполнения, которых не видно в диффе кода. Трейсы из продакшена показывают, что агент реально делает.
  • Средний балл скрывает компромисс — в примере требование подтверждать каждое действие дало +17 к action safety и −17 к task completion. По словам спикера, итоговое среднее при этом оказалось нулевым.
  • Датасет из реальных сессий — в набор стоит включать типичные сценарии, известные падения, edge cases и успешные сценарии, которые нужно защитить. Детерминированные проверки делаются кодом, недетерминированные оцениваются LLM-as-a-judge.
  • Каждый сбой становится тестом — упавшие продакшен-трейсы попадают в регрессионный набор, а слияние блокируется в CI, пока не выполнены критерии. Подключение coding агентов через skills спикер показывает как направление, а не как доказанную автономную починку.

Кому полезно: тем, кто выпускает агентов в продакшен и боится правок промпта, которые ломают соседние сценарии.

Статья по теме

Главы

Похожие доклады