· AI Engineer World's Fair 2024
Как Zapier создаёт AI-продукты и функции с помощью Braintrust
How Zapier Builds AI Products and Features With the Help of Braintrust
Zapier строит AI Zap Builder и Copilot на наборе из более чем восьмисот evals, которые запускаются в CI, и по этим evals поймал регрессию при переходе на GPT-4o.
- Синтетические данные для evals — тестовые наборы засеяны синтетическими данными из корпоративных аккаунтов и запускаются в CI и вручную; при каждом прогоне отдельный раннер нагружает все AI-провайдеры.
- Логические и LLM-based graders — проверки сочетаются, а каждый прогон сравнивается с предыдущими, поэтому регрессия видна сразу. По словам авторов, число тестов выросло с семи ручных до восьмисот, а точность примерно на 300%.
- Откат промптов после смены модели — 22 регрессии при переходе на GPT-4o были связаны с тем, что модель игнорировала system prompt, слишком подогнанный под GPT-3.5 Turbo. Ослабление промпта вернуло показатели, а вызовы функций перевели на
tool_choice. - Скорость стриминга — по словам авторов, время ответа streaming copilot упало примерно с 14 до 3 секунд после перехода на GPT-4o.
Кому полезно: командам, которые выводят LLM-функции в продакшен и меняют модели с оглядкой на качество.
Статья по теме
Главы
Ещё доклады: Ankur Goyal
Страница спикера →Будущее evals
AI Engineer World's Fair 2025
Пять уроков об evals, усвоенных на собственном опыте
AI Engineer World's Fair 2025
Похожие доклады
Как превращать провалы в функции: непростые уроки Zapier по evals
AI Engineer World's Fair 2025
Близко по содержанию
Основы evals
AI Engineer World's Fair 2025
Близко по содержанию
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Близко по содержанию


