Как тестировать агентов на реальных задачах с Harbor
How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI
Изменения агента стоит выпускать по результатам прогонов на реальных задачах, а не по ощущениям: достаточно описать задачи и верификаторы, которые проверяют результат в изолированной среде.
- Верификаторы по результату — скрипты проверяют побочные эффекты в окружении, а не путь агента, поэтому тесты переживают смену инструментов и реализации. Спикер сравнивает их с интеграционными тестами, которые можно использовать для рефакторинга.
- Oracle-решение перед агентом — эталонный скрипт проверяет данные, окружение и верификаторы до того, как тратятся токены на агента.
- Параллельные песочницы — каждый прогон изолирован, поэтому в Daytona, по словам спикера, работали около 200 параллельных воркеров, а метрики считаются через pass@k.
- Кейс с SQL — правка промпта направила агрегатные вопросы на read-only SQL: по словам спикера, вызовов GraphQL стало меньше, общее число вызовов и ходов снизилось, а доля прохождения не изменилась. Это оптимизация эффективности, а не исправление ошибок, и маленькая тестовая база почти не создавала давления пагинации.
Кому полезно: тем, кто тестирует агентов с инструментами поверх своего продукта и хочет сравнивать изменения промптов и навыков по метрикам.
Статья по теме
Главы
Похожие доклады
Дайте агенту развернуться: как с помощью Skills оценивать и улучшать приложение
AI Engineer World's Fair 2026
Близко по содержанию
Исправление агента сломало что-то ещё
Близко по содержанию
Как agents совершенствуются, пока вы спите
Близко по содержанию
От вайбов до продакшена: основы оценки и запуска работающих AI-агентов
AI Engineer World's Fair 2026
Близко по содержанию

