Адаптивные системы и статичные тесты: зачем нам гибкие evals?
Malleable Evals: Why Are We Still Evaluating Adaptive Systems with Static Tests?
evals для агентов должны становиться живой системой: она по трейсам обновляет тесты и тянется к намерению пользователя.
- Статичные тесты устаревают первыми — по примеру спикера, около 80% запросов повторяют одни и те же сценарии, а остальные 20% меняются вместе с клиентской базой и ломают агента, поэтому набор тестов нужно пересматривать постоянно.
- Тесты из трейсов — трейсы продакшена группируются, сдвиг в вопросах пользователей обнаруживается автоматически, и агент может сам предложить обновить набор тестов и критерии оценки. Спикер описывает это как направление, а не как готовую систему.
- Постоянно работающая оценка — телеметрия (ошибки, стоимость) подаётся обратно в harness, который при заданных условиях исправляет себя.
- Цель вместо датасета — eval задаёт конечное состояние, а цикл оптимизации, по аналогии с autoresearch-скриптом на Python, сам подбирает поведение агента по целевой метрике.
Кому полезно: тем, кто поддерживает агентов в продакшене и видит, что тесты отстают от того, как пользователи реально их используют.
Статья по теме
Главы
Ещё доклады: Vincent Koc
Страница спикера →Похожие доклады
Как масштабировать evals: за пределами accuracy и similarity
AI Engineer World's Fair 2025
Близко по содержанию
Evals в ИИ: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию

