Как тестировать AI-агентов, когда нет готового бенчмарка
How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada
Если эталонного бенчмарка нет, агента можно тестировать, генерируя входы с заранее известным ожидаемым результатом и проверяя их кодом.
- Обратный порядок генерации — LLM пишет вопрос по странице документа, и ответ уже известен, поэтому проверка автоматическая. В телеком RAG-проекте, по словам спикера, это подняло число оценок с одной в неделю до десятков в день.
- Простота важнее сложности — дополнительные слои часто ломали уже работавшее, а выигрыш дали embedding-модель, chunking и параметр alpha в BM25.
- Пять способов собрать тесты — для проверки договоров поставщиков спикер использует удаление пунктов, посев нарушений правил (например, лимит свыше миллиона долларов), шаблоны с пропусками и другие приёмы. Шаблонные тесты дают результат за пять минут вместо четырёх недель ожидания экспертов.
- Код вместо LLM-as-judge — шум от LLM-судьи оказался почти таким же сложным, как исходная задача, поэтому где возможно, проверяет код. Тесты для разработки, по словам автора, не заменяют решение о релизе.
Кому полезно: тем, кто строит агентов в предметной области без публичных бенчмарков и с ограниченным доступом к экспертам.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Почему передовые модели не справляются с работой аналитиков на стороне инвесторов
Близко по содержанию
Как понять, хорош ли ваш AI-агент: evals с Phoenix и Claude
Близко по содержанию
Игра бенчмарков: почему она подтасована и как действительно победить
AI Engineer World's Fair 2025
Близко по содержанию

