← Каталог

· AI Engineer World's Fair 2026

Evals в ИИ: подробный разбор

Evals in AI: A Deep Dive — Tejas Kumar, IBM

Evals — это юнит-тесты для недетерминированных систем: судью-LLM нужно калибровать по ручным вердиктам и ставить на CI как ворота качества.

  • Калибровка судьи — около 30 сценариев размечают вручную и сверяют с ними судью. По словам спикера, согласие 80–85% достаточно, а 100% говорит о переобучении или смещении судьи.
  • Смещения судей — позиционное смещение, угодничество, предпочтение собственных ответов и многословность искажают оценки. Спикер советует оценивать каждый ответ отдельно (pointwise, да или нет), а не парами.
  • Политика в промпте — текст политики возврата убрал большую часть расхождений, а для клиента с просьбой об исключении понадобилось явное правило, что политика не отменяется. По словам спикера, после этого и смены модели на GPT-4o mini согласие достигло 27 из 30.
  • Живой датасет — судью фиксируют по версии модели, а датасет пополняют размеченным трафиком продакшена. Дешёвые детерминированные проверки и трейсы стоит поставить раньше судьи-LLM.

Кому полезно: тем, кто выводит в продакшен агентов, которые отвечают клиентам по внутренним политикам, и хочет проверять их в CI.

Статья по теме

Главы

Ещё доклады: Tejas Kumar

Страница спикера →

Похожие доклады