← Каталог

· AI Engineer World's Fair 2025

Как создавать ИИ-продукты мирового уровня

How to build world-class AI products — Sarah Sachs (Notion) and Carlos Esteban (Braintrust)

Надёжность AI-продукта строится на наблюдаемости и evals: по словам Sarah Sachs, в Notion около 90% времени уходит на разбор оценок, а около 10% на промпты.

  • Датасет из десятка примеров — начинать стоит с десяти вручную собранных кейсов с нужной структурой, а функции оценки писать после долгого изучения данных. Кейсы берутся из логов и прототипов, а не из большого синтетического мусора.
  • Judge на одно правило — отдельный LLM-as-a-judge лучше проверяет одно требование, например язык ответа или формат; judge, которому поручили всё сразу, пропускал регрессии, включая смену языка. Там, где возможно, проверки лучше делать детерминированными, например что запрос к Jira содержит Jira.
  • Retrieval отдельно от генерации — результаты поиска замораживаются и оцениваются отдельно, а образцы, где нужного документа уже нет в индексе, отбрасываются. По словам спикера, полная заморозка индекса слишком дорога.
  • Remote evals — локальный код с внутренними инструментами и промежуточными шагами открывается в playground через флаг --dev, и нетехнические участники запускают его без переноса логики в платформу. Вторая половина доклада это презентация Braintrust, и remote evals в ней главная новинка.

Кому полезно: командам, которые строят функции с поиском по документам и хотят проверять качество перед сменой модели или промпта.

Статья по теме

На какие вопросы отвечает доклад

  • Как оценивать retrieval в RAG отдельно от генерации, если индекс постоянно меняется?

    Извлечённые результаты фиксируют и оценивают retrieval как отдельный eval, а генерацию прогоняют на зафиксированных документах. Если нужного ответа в индексе уже нет, образец убирают из выборки.

    ▶ 16:44Вопросы аудитории: LLM-as-a-judge, датасеты и оценка RAG
  • Нужен ли один LLM-judge на все критерии или отдельные судьи под каждую задачу?

    Notion использует узкие промпты под отдельные задачи, например проверку markdown-форматирования и соблюдения языка, а также судей поверх всего датасета. Для одного проблемного ответа иногда пишут отдельный промпт.

    ▶ 16:44Вопросы аудитории: LLM-as-a-judge, датасеты и оценка RAG
  • Почему LLM-judge пропускает регрессии, если его настроили проверять только формат?

    По словам спикера, судья для markdown не ловил смену языка ответа, потому что этого не было в промпте. Критерии советуют держать узкими, честно разбирать провалы и там, где возможно, использовать детерминированные проверки.

    ▶ 16:44Вопросы аудитории: LLM-as-a-judge, датасеты и оценка RAG
  • Можно ли использовать старые дизлайки пользователей в evals, если код с тех пор изменился?

    Да: из дизлайка берут естественно-языковой запрос пользователя и состояние workspace, а ответ модели заново генерируют текущим кодом. Старый ответ уже не отражает продукт, поэтому его не используют.

    ▶ 16:44Вопросы аудитории: LLM-as-a-judge, датасеты и оценка RAG
  • Как собрать обратную связь пользователей и разметку экспертов в evals?

    Лайки и дизлайки с комментарием записываются в лог как user_feedback score вместе с metadata. Для экспертов создаётся форма human review, а подходящие спаны добавляются в датасет.

    ▶ 1:02:54Практические упражнения, настройки, производственные логи и проверка человеком
  • С какой долей продакшен-трафика стоит запускать онлайн-оценку LLM-судьёй?

    Спикер советует начинать с низкой доли, например 1%, и повышать её по мере доверия к метрикам. Настроить оценку можно и на 100% логов.

    ▶ 1:02:54Практические упражнения, настройки, производственные логи и проверка человеком

Главы

Ещё доклады: Doug Guthrie

Страница спикера →

Ещё доклады: Sarah Sachs

Страница спикера →

Похожие доклады