· AI Engineer World's Fair 2026
Evals в ИИ: подробный разбор
Evals in AI: A Deep Dive — Tejas Kumar, IBM
Evals — это юнит-тесты для недетерминированных систем: судью-LLM нужно калибровать по ручным вердиктам и ставить на CI как ворота качества.
- Калибровка судьи — около 30 сценариев размечают вручную и сверяют с ними судью. По словам спикера, согласие 80–85% достаточно, а 100% говорит о переобучении или смещении судьи.
- Смещения судей — позиционное смещение, угодничество, предпочтение собственных ответов и многословность искажают оценки. Спикер советует оценивать каждый ответ отдельно (pointwise, да или нет), а не парами.
- Политика в промпте — текст политики возврата убрал большую часть расхождений, а для клиента с просьбой об исключении понадобилось явное правило, что политика не отменяется. По словам спикера, после этого и смены модели на GPT-4o mini согласие достигло 27 из 30.
- Живой датасет — судью фиксируют по версии модели, а датасет пополняют размеченным трафиком продакшена. Дешёвые детерминированные проверки и трейсы стоит поставить раньше судьи-LLM.
Кому полезно: тем, кто выводит в продакшен агентов, которые отвечают клиентам по внутренним политикам, и хочет проверять их в CI.
Статья по теме
Главы
Ещё доклады: Tejas Kumar
Страница спикера →Глубокий разбор harnesses в AI
AI Engineer Europe 2026
Похожие доклады
Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
AI Engineer Europe 2026
Близко по содержанию
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию
Ваши evals бессмысленны — и вот как это исправить
AI Engineer Summit 2025
Близко по содержанию

