· AI Engineer World's Fair 2025
Пять уроков об evals, усвоенных на собственном опыте
Five Hard-Earned Lessons About Evals
Evals стоит строить как инженерную систему, которая успевает за новыми моделями и оптимизирует весь AI-продукт, а не один промпт.
- Evals окупаются, когда дают фору — по словам спикера, Notion подключает новую модель в течение 24 часов, потому что evals заранее показывают, какие сценарии уже заработают. Если на подключение уходят недели, evals нужно доработать.
- Датасеты и скореры как инженерная задача — готовый датасет редко совпадает с реальными запросами пользователей, поэтому его нужно постоянно сверять с продакшеном. Скореры спикер советует писать под свой продукт как техническое задание, а не брать готовые из open source библиотеки Autoevals.
- Токены инструментов — по замерам трассировок агентов основная часть токенов приходится не на system prompt, а на определения инструментов и их вывод. Замена JSON на YAML в одном внутреннем проекте, по словам спикера, дала заметный эффект: YAML компактнее и модели легче его читать.
- Оптимизация всей системы — по словам авторов, автооптимизация промпта, которой дали датасет и скореры, показывает заметно лучший результат, чем оптимизация одного промпта. Ближе к концу спикер анонсирует функцию Loop в Braintrust.
Кому полезно: тем, кто строит evals для агентов и хочет быстрее переключаться на новые модели.
Статья по теме
Главы
Ещё доклады: Ankur Goyal
Страница спикера →Будущее evals
AI Engineer World's Fair 2025
Как Zapier создаёт AI-продукты и функции с помощью Braintrust
AI Engineer World's Fair 2024
Похожие доклады
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию
Как evals и промпты влияют на поведение агентов
AI Engineer World's Fair 2026
Близко по содержанию
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию

