Исправление агента сломало что-то ещё
Your Agent Fix Just Broke Something Else - Sofia Jakovcevic, Arize AI
Регрессионные тесты для агентов стоит строить на продакшен-трейсах, потому что однострочная правка промпта меняет поведение в рантайме, а общий балл это скрывает.
- Трейсы вместо диффа — правка промпта меняет вызовы инструментов, handoffs и пути выполнения, которых не видно в диффе кода. Трейсы из продакшена показывают, что агент реально делает.
- Средний балл скрывает компромисс — в примере требование подтверждать каждое действие дало +17 к action safety и −17 к task completion. По словам спикера, итоговое среднее при этом оказалось нулевым.
- Датасет из реальных сессий — в набор стоит включать типичные сценарии, известные падения, edge cases и успешные сценарии, которые нужно защитить. Детерминированные проверки делаются кодом, недетерминированные оцениваются LLM-as-a-judge.
- Каждый сбой становится тестом — упавшие продакшен-трейсы попадают в регрессионный набор, а слияние блокируется в CI, пока не выполнены критерии. Подключение coding агентов через skills спикер показывает как направление, а не как доказанную автономную починку.
Кому полезно: тем, кто выпускает агентов в продакшен и боится правок промпта, которые ломают соседние сценарии.
Статья по теме
Главы
Похожие доклады
Как agents совершенствуются, пока вы спите
Близко по содержанию
Ваш агент эволюционировал. А evals — нет.
AI Engineer World's Fair 2026
Близко по содержанию
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию
Дайте агенту развернуться: как с помощью Skills оценивать и улучшать приложение
AI Engineer World's Fair 2026
Близко по содержанию

