← Каталог

Как тестировать AI-агентов, когда нет готового бенчмарка

How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada

Если эталонного бенчмарка нет, агента можно тестировать, генерируя входы с заранее известным ожидаемым результатом и проверяя их кодом.

  • Обратный порядок генерации — LLM пишет вопрос по странице документа, и ответ уже известен, поэтому проверка автоматическая. В телеком RAG-проекте, по словам спикера, это подняло число оценок с одной в неделю до десятков в день.
  • Простота важнее сложности — дополнительные слои часто ломали уже работавшее, а выигрыш дали embedding-модель, chunking и параметр alpha в BM25.
  • Пять способов собрать тесты — для проверки договоров поставщиков спикер использует удаление пунктов, посев нарушений правил (например, лимит свыше миллиона долларов), шаблоны с пропусками и другие приёмы. Шаблонные тесты дают результат за пять минут вместо четырёх недель ожидания экспертов.
  • Код вместо LLM-as-judge — шум от LLM-судьи оказался почти таким же сложным, как исходная задача, поэтому где возможно, проверяет код. Тесты для разработки, по словам автора, не заменяют решение о релизе.

Кому полезно: тем, кто строит агентов в предметной области без публичных бенчмарков и с ограниченным доступом к экспертам.

Статья по теме

Главы

Похожие доклады