← Каталог

· AI Engineer Europe 2026

Адаптивные системы и статичные тесты: зачем нам гибкие evals?

Malleable Evals: Why Are We Still Evaluating Adaptive Systems with Static Tests?

evals для агентов должны становиться живой системой: она по трейсам обновляет тесты и тянется к намерению пользователя.

  • Статичные тесты устаревают первыми — по примеру спикера, около 80% запросов повторяют одни и те же сценарии, а остальные 20% меняются вместе с клиентской базой и ломают агента, поэтому набор тестов нужно пересматривать постоянно.
  • Тесты из трейсов — трейсы продакшена группируются, сдвиг в вопросах пользователей обнаруживается автоматически, и агент может сам предложить обновить набор тестов и критерии оценки. Спикер описывает это как направление, а не как готовую систему.
  • Постоянно работающая оценка — телеметрия (ошибки, стоимость) подаётся обратно в harness, который при заданных условиях исправляет себя.
  • Цель вместо датасета — eval задаёт конечное состояние, а цикл оптимизации, по аналогии с autoresearch-скриптом на Python, сам подбирает поведение агента по целевой метрике.

Кому полезно: тем, кто поддерживает агентов в продакшене и видит, что тесты отстают от того, как пользователи реально их используют.

Статья по теме

Главы

Ещё доклады: Vincent Koc

Страница спикера →

Похожие доклады