· AI Engineer World's Fair 2025
Будущее evals
The Future of Evals - Ankur Goyal, Braintrust
Ручной разбор результатов evals, по словам спикера, можно заменить агентом, который одновременно правит промпты, датасеты и scorers.
- Масштаб evals — средняя организация в Braintrust запускает почти 13 evals в день, а у самых активных клиентов их больше 3000. Продвинутые команды проводят в продукте больше двух часов в день, разбирая результаты.
- Loop вместо дашборда — агент Loop предлагает правки промптов, датасетов и scorers, а каждую правку можно сравнить с исходной версией прямо в интерфейсе. Доклад по сути презентация продукта Braintrust, но идея совместной оптимизации трёх частей evals полезна сама по себе.
- Выбор модели — по умолчанию используется Claude 4, но можно подключить модели OpenAI, Gemini или собственные. По словам спикера, Claude 4 в улучшении промптов работает почти в шесть раз лучше предыдущей лидирующей модели.
- Регулярные замеры моделей — команда Braintrust раз в квартал прогоняет evals на передовых моделях, проверяя, насколько они умеют улучшать промпты, датасеты и scorers. До недавнего времени результаты были слабыми.
Кому полезно: тем, кто вручную разбирает результаты evals и хочет автоматизировать итерации над промптами и оценками.
Статья по теме
Главы
Ещё доклады: Ankur Goyal
Страница спикера →Как Zapier создаёт AI-продукты и функции с помощью Braintrust
AI Engineer World's Fair 2024
Пять уроков об evals, усвоенных на собственном опыте
AI Engineer World's Fair 2025
Похожие доклады
Как выпускать работающий AI: фреймворк оценки для продакт-менеджеров
AI Engineer World's Fair 2025
Близко по содержанию
7 привычек эффективной оценки генеративного ИИ
AI Engineer World's Fair 2025
Близко по содержанию

