· AI Engineer World's Fair 2025
Как создавать ИИ-продукты мирового уровня
How to build world-class AI products — Sarah Sachs (Notion) and Carlos Esteban (Braintrust)
Надёжность AI-продукта строится на наблюдаемости и evals: по словам Sarah Sachs, в Notion около 90% времени уходит на разбор оценок, а около 10% на промпты.
- Датасет из десятка примеров — начинать стоит с десяти вручную собранных кейсов с нужной структурой, а функции оценки писать после долгого изучения данных. Кейсы берутся из логов и прототипов, а не из большого синтетического мусора.
- Judge на одно правило — отдельный LLM-as-a-judge лучше проверяет одно требование, например язык ответа или формат; judge, которому поручили всё сразу, пропускал регрессии, включая смену языка. Там, где возможно, проверки лучше делать детерминированными, например что запрос к Jira содержит Jira.
- Retrieval отдельно от генерации — результаты поиска замораживаются и оцениваются отдельно, а образцы, где нужного документа уже нет в индексе, отбрасываются. По словам спикера, полная заморозка индекса слишком дорога.
- Remote evals — локальный код с внутренними инструментами и промежуточными шагами открывается в playground через флаг
--dev, и нетехнические участники запускают его без переноса логики в платформу. Вторая половина доклада это презентация Braintrust, и remote evals в ней главная новинка.
Кому полезно: командам, которые строят функции с поиском по документам и хотят проверять качество перед сменой модели или промпта.
Статья по теме
На какие вопросы отвечает доклад
Как оценивать retrieval в RAG отдельно от генерации, если индекс постоянно меняется?
Извлечённые результаты фиксируют и оценивают retrieval как отдельный eval, а генерацию прогоняют на зафиксированных документах. Если нужного ответа в индексе уже нет, образец убирают из выборки.
▶ 16:44Вопросы аудитории: LLM-as-a-judge, датасеты и оценка RAGНужен ли один LLM-judge на все критерии или отдельные судьи под каждую задачу?
Notion использует узкие промпты под отдельные задачи, например проверку markdown-форматирования и соблюдения языка, а также судей поверх всего датасета. Для одного проблемного ответа иногда пишут отдельный промпт.
▶ 16:44Вопросы аудитории: LLM-as-a-judge, датасеты и оценка RAGПочему LLM-judge пропускает регрессии, если его настроили проверять только формат?
По словам спикера, судья для markdown не ловил смену языка ответа, потому что этого не было в промпте. Критерии советуют держать узкими, честно разбирать провалы и там, где возможно, использовать детерминированные проверки.
▶ 16:44Вопросы аудитории: LLM-as-a-judge, датасеты и оценка RAGМожно ли использовать старые дизлайки пользователей в evals, если код с тех пор изменился?
Да: из дизлайка берут естественно-языковой запрос пользователя и состояние workspace, а ответ модели заново генерируют текущим кодом. Старый ответ уже не отражает продукт, поэтому его не используют.
▶ 16:44Вопросы аудитории: LLM-as-a-judge, датасеты и оценка RAGКак собрать обратную связь пользователей и разметку экспертов в evals?
Лайки и дизлайки с комментарием записываются в лог как user_feedback score вместе с metadata. Для экспертов создаётся форма human review, а подходящие спаны добавляются в датасет.
▶ 1:02:54Практические упражнения, настройки, производственные логи и проверка человекомС какой долей продакшен-трафика стоит запускать онлайн-оценку LLM-судьёй?
Спикер советует начинать с низкой доли, например 1%, и повышать её по мере доверия к метрикам. Настроить оценку можно и на 100% логов.
▶ 1:02:54Практические упражнения, настройки, производственные логи и проверка человеком
Главы
Ещё доклады: Doug Guthrie
Страница спикера →Основы evals
AI Engineer World's Fair 2025
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Ещё доклады: Sarah Sachs
Страница спикера →Город токенов Notion
AI Engineer World's Fair 2026
Похожие доклады
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию



