· AI Engineer World's Fair 2025
Зачем вообще нужны evals?
Why should anyone care about Evals?
Метрики модели не обосновывают выкатку AI-системы, зато evals как лаборатория для экспериментов, по словам автора, закрывают около 90% итераций продукта до продакшена.
- Метрики модели недостаточно — рост точности классификации с 98% до 99% не отвечает на вопрос, объезжает ли система пешеходов и соблюдает ли правила; в беспилотниках проверяют реальные сценарии.
- Evals как эксперимент, а не регрессионный тест — без них единственный сигнал по изменениям приходит из выкатки в продакшен, а это дорого, медленно и рискованно.
- Офлайн-метрики на продовых данных — если применить те же метрики к онлайн-трафику, становится видно, какие продовые примеры полезнее для следующей итерации, и замыкается data flywheel.
- Связка с экспериментами и логами — по словам автора, в Braintrust evals соединены с правкой промптов в playground, логированием и observability.
Кому полезно: тем, кто только собирается строить evals для AI-продукта и хочет понять их место в цикле разработки; конкретных цифр по результатам и деталей реализации в докладе мало, он в основном представляет платформу Braintrust.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Как создавать ИИ-продукты мирового уровня
Doug Guthrie, Carlos Esteban, Sarah Sachs
AI Engineer World's Fair 2025
Близко по содержанию
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию
Будущее evals: от LLM-as-a-judge к агенту-судье
AI Engineer World's Fair 2026
Близко по содержанию

