← Каталог

· AI Engineer World's Fair 2025

[Воркшоп по evals] Оценка AI: от playground до production

[Evals Workshop] Mastering AI Evaluation: From Playground to Production

Eval для LLM-приложения — это task, dataset и score, и начинать стоит с десятка примеров и одного-двух скоров, а не с золотого набора.

  • Матрица решений — сопоставляйте оценку человека с баллом скора: если хороший ответ получил низкий балл или плохой ответ высокий, чинить нужно сам eval. Только сочетание плохого ответа и низкого балла указывает на проблему в приложении.
  • LLM-as-a-judge — давайте судье один критерий, берите модель посильнее и сверяйте её с разметкой людей. Из-за недетерминированности спикеры запускают оценку несколько раз и смотрят на сравнение с предыдущим прогоном, а не на абсолютное значение.
  • Eval в CI — файлы .eval.ts запускаются при pull request, а task вызывает текущее приложение, поэтому при изменении логики eval-файлы переписывать не нужно.
  • Онлайн-скоринг — скоры считаются на живом трафике с настраиваемой долей логов, при падении метрики ниже порога настраиваются алерты. Спикеры советуют начинать с малой доли.

Кому полезно: тем, кто выстраивает eval-процесс для LLM-приложения; доклад построен как практикум на платформе Braintrust.

Статья по теме

Главы

Ещё доклады: Doug Guthrie

Страница спикера →

Похожие доклады