← Каталог

· AI Engineer World's Fair 2025

Зачем вообще нужны evals?

Why should anyone care about Evals?

Метрики модели не обосновывают выкатку AI-системы, зато evals как лаборатория для экспериментов, по словам автора, закрывают около 90% итераций продукта до продакшена.

  • Метрики модели недостаточно — рост точности классификации с 98% до 99% не отвечает на вопрос, объезжает ли система пешеходов и соблюдает ли правила; в беспилотниках проверяют реальные сценарии.
  • Evals как эксперимент, а не регрессионный тест — без них единственный сигнал по изменениям приходит из выкатки в продакшен, а это дорого, медленно и рискованно.
  • Офлайн-метрики на продовых данных — если применить те же метрики к онлайн-трафику, становится видно, какие продовые примеры полезнее для следующей итерации, и замыкается data flywheel.
  • Связка с экспериментами и логами — по словам автора, в Braintrust evals соединены с правкой промптов в playground, логированием и observability.

Кому полезно: тем, кто только собирается строить evals для AI-продукта и хочет понять их место в цикле разработки; конкретных цифр по результатам и деталей реализации в докладе мало, он в основном представляет платформу Braintrust.

Статья по теме

Главы

Похожие доклады