← Каталог

Не доверяйте AI agents: тестируйте их как учёный

Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics

Оценки агентов нужно строить как эксперименты: снижение стоимости на 28% ничего не говорит о том, используется ли нужный инструмент.

  • Тесты на своей нагрузке — публичные бенчмарки помогают составить короткий список моделей, но решение нужно принимать на задачах, похожих на ваши, с той же связкой модели и harness. В одном стороннем сравнении смена только harness меняла порядок моделей, по сообщённым данным разница достигала больше 30%.
  • Отладка по цепочке — проверяйте, доступен ли инструмент агенту, вызвал ли он его, что вернулось и повлияло ли это на итог задачи. Трейсы и несколько прогонов сохраняйте, потому что системы недетерминированы.
  • Метрики под бизнес-цель — recall, равный 1, при возврате 295 файлов вместо шести нужных скрывает плохую точность, поэтому метрику выбирайте под реальную задачу.
  • Сигнал и остановка разделены — агент может заметить проблему, но остановить процесс должен механизм в коде. Ложные срабатывания тоже считайте: при 1% ошибок, как в примере из доклада, проверок для человека набралось бы около 10 тысяч.

Кому полезно: тем, кто запускает агентов в продакшене или автоматизированных процессах и хочет проверять их на реальных сценариях, а не по публичным таблицам.

Статья по теме

Главы

Ещё доклады: Stephanie Jarmak

Страница спикера →

Похожие доклады