← Каталог

· AI Engineer World's Fair 2025

Будущее evals

The Future of Evals - Ankur Goyal, Braintrust

Ручной разбор результатов evals, по словам спикера, можно заменить агентом, который одновременно правит промпты, датасеты и scorers.

  • Масштаб evals — средняя организация в Braintrust запускает почти 13 evals в день, а у самых активных клиентов их больше 3000. Продвинутые команды проводят в продукте больше двух часов в день, разбирая результаты.
  • Loop вместо дашборда — агент Loop предлагает правки промптов, датасетов и scorers, а каждую правку можно сравнить с исходной версией прямо в интерфейсе. Доклад по сути презентация продукта Braintrust, но идея совместной оптимизации трёх частей evals полезна сама по себе.
  • Выбор модели — по умолчанию используется Claude 4, но можно подключить модели OpenAI, Gemini или собственные. По словам спикера, Claude 4 в улучшении промптов работает почти в шесть раз лучше предыдущей лидирующей модели.
  • Регулярные замеры моделей — команда Braintrust раз в квартал прогоняет evals на передовых моделях, проверяя, насколько они умеют улучшать промпты, датасеты и scorers. До недавнего времени результаты были слабыми.

Кому полезно: тем, кто вручную разбирает результаты evals и хочет автоматизировать итерации над промптами и оценками.

Статья по теме

Главы

Ещё доклады: Ankur Goyal

Страница спикера →

Похожие доклады