← Каталог

· AI Engineer World's Fair 2025

Пять уроков об evals, усвоенных на собственном опыте

Five Hard-Earned Lessons About Evals

Evals стоит строить как инженерную систему, которая успевает за новыми моделями и оптимизирует весь AI-продукт, а не один промпт.

  • Evals окупаются, когда дают фору — по словам спикера, Notion подключает новую модель в течение 24 часов, потому что evals заранее показывают, какие сценарии уже заработают. Если на подключение уходят недели, evals нужно доработать.
  • Датасеты и скореры как инженерная задача — готовый датасет редко совпадает с реальными запросами пользователей, поэтому его нужно постоянно сверять с продакшеном. Скореры спикер советует писать под свой продукт как техническое задание, а не брать готовые из open source библиотеки Autoevals.
  • Токены инструментов — по замерам трассировок агентов основная часть токенов приходится не на system prompt, а на определения инструментов и их вывод. Замена JSON на YAML в одном внутреннем проекте, по словам спикера, дала заметный эффект: YAML компактнее и модели легче его читать.
  • Оптимизация всей системы — по словам авторов, автооптимизация промпта, которой дали датасет и скореры, показывает заметно лучший результат, чем оптимизация одного промпта. Ближе к концу спикер анонсирует функцию Loop в Braintrust.

Кому полезно: тем, кто строит evals для агентов и хочет быстрее переключаться на новые модели.

Статья по теме

Главы

Ещё доклады: Ankur Goyal

Страница спикера →

Похожие доклады