← Каталог

· AI Engineer World's Fair 2024

Как Zapier создаёт AI-продукты и функции с помощью Braintrust

How Zapier Builds AI Products and Features With the Help of Braintrust

Zapier строит AI Zap Builder и Copilot на наборе из более чем восьмисот evals, которые запускаются в CI, и по этим evals поймал регрессию при переходе на GPT-4o.

  • Синтетические данные для evals — тестовые наборы засеяны синтетическими данными из корпоративных аккаунтов и запускаются в CI и вручную; при каждом прогоне отдельный раннер нагружает все AI-провайдеры.
  • Логические и LLM-based graders — проверки сочетаются, а каждый прогон сравнивается с предыдущими, поэтому регрессия видна сразу. По словам авторов, число тестов выросло с семи ручных до восьмисот, а точность примерно на 300%.
  • Откат промптов после смены модели — 22 регрессии при переходе на GPT-4o были связаны с тем, что модель игнорировала system prompt, слишком подогнанный под GPT-3.5 Turbo. Ослабление промпта вернуло показатели, а вызовы функций перевели на tool_choice.
  • Скорость стриминга — по словам авторов, время ответа streaming copilot упало примерно с 14 до 3 секунд после перехода на GPT-4o.

Кому полезно: командам, которые выводят LLM-функции в продакшен и меняют модели с оглядкой на качество.

Статья по теме

Главы

Ещё доклады: Ankur Goyal

Страница спикера →

Похожие доклады