· AI Engineer World's Fair 2025
[Воркшоп по evals] Оценка AI: от playground до production
[Evals Workshop] Mastering AI Evaluation: From Playground to Production
Eval для LLM-приложения — это task, dataset и score, и начинать стоит с десятка примеров и одного-двух скоров, а не с золотого набора.
- Матрица решений — сопоставляйте оценку человека с баллом скора: если хороший ответ получил низкий балл или плохой ответ высокий, чинить нужно сам eval. Только сочетание плохого ответа и низкого балла указывает на проблему в приложении.
- LLM-as-a-judge — давайте судье один критерий, берите модель посильнее и сверяйте её с разметкой людей. Из-за недетерминированности спикеры запускают оценку несколько раз и смотрят на сравнение с предыдущим прогоном, а не на абсолютное значение.
- Eval в CI — файлы
.eval.tsзапускаются при pull request, а task вызывает текущее приложение, поэтому при изменении логики eval-файлы переписывать не нужно. - Онлайн-скоринг — скоры считаются на живом трафике с настраиваемой долей логов, при падении метрики ниже порога настраиваются алерты. Спикеры советуют начинать с малой доли.
Кому полезно: тем, кто выстраивает eval-процесс для LLM-приложения; доклад построен как практикум на платформе Braintrust.
Статья по теме
Главы
Ещё доклады: Doug Guthrie
Страница спикера →Как создавать ИИ-продукты мирового уровня
Doug Guthrie, Carlos Esteban, Sarah Sachs
AI Engineer World's Fair 2025
Основы evals
AI Engineer World's Fair 2025
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Похожие доклады
Оценка видео-слопа
AI Engineer World's Fair 2026
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию


