← Каталог

Как тестировать агентов на реальных задачах с Harbor

How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI

Изменения агента стоит выпускать по результатам прогонов на реальных задачах, а не по ощущениям: достаточно описать задачи и верификаторы, которые проверяют результат в изолированной среде.

  • Верификаторы по результату — скрипты проверяют побочные эффекты в окружении, а не путь агента, поэтому тесты переживают смену инструментов и реализации. Спикер сравнивает их с интеграционными тестами, которые можно использовать для рефакторинга.
  • Oracle-решение перед агентом — эталонный скрипт проверяет данные, окружение и верификаторы до того, как тратятся токены на агента.
  • Параллельные песочницы — каждый прогон изолирован, поэтому в Daytona, по словам спикера, работали около 200 параллельных воркеров, а метрики считаются через pass@k.
  • Кейс с SQL — правка промпта направила агрегатные вопросы на read-only SQL: по словам спикера, вызовов GraphQL стало меньше, общее число вызовов и ходов снизилось, а доля прохождения не изменилась. Это оптимизация эффективности, а не исправление ошибок, и маленькая тестовая база почти не создавала давления пагинации.

Кому полезно: тем, кто тестирует агентов с инструментами поверх своего продукта и хочет сравнивать изменения промптов и навыков по метрикам.

Статья по теме

Главы

Похожие доклады