← Каталог

· AI Engineer World's Fair 2026

Создавайте evals, которые действительно важны

Build Evals That Actually Matter - Nick Ung & Akshay Sharma, Lyft

Оценка агента поддержки имеет смысл, когда симулированный пользователь говорит нетерпеливо и грубо, как настоящий клиент, а судья-LLM выдаёт бинарные решения, привязанные к launch gate.

  • Пользователь-симулятор должен звучать как клиент — модель, которая играла пользователя, была слишком вежливой и давала свыше 90% успешных прохождений. После дообучения на реальных обращениях и персонах (например, refund seeker и AI skeptic) показатель упал, и по словам авторов такая оценка полезнее для решения о запуске.
  • Бинарные метрики вместо шкал — судья оценивает, выполнена ли задача, например правильно ли агент эскалировал обращение. Точность и полноту судьи проверяют на примерно ста примерах, размеченных вручную, с разбиением на train, dev и test.
  • Статистика перед выводами — разница в 4 процентных пункта на 50 трассах ничего не доказывает. Интервалы нужны для чисел, которые влияют на решение о запуске.
  • Цикл анализа ошибок — разбор сырых трасс в LangSmith или Langfuse, очередь разметки для экспертов и повтор раз в одну-две недели. Без разметки нельзя проверить самого судью.

Кому полезно: тем, кто выводит агентов поддержки в продакшен и не знает, как проверить их до запуска.

Статья по теме

Главы

Похожие доклады