· AI Engineer World's Fair 2026
Создавайте evals, которые действительно важны
Build Evals That Actually Matter - Nick Ung & Akshay Sharma, Lyft
Оценка агента поддержки имеет смысл, когда симулированный пользователь говорит нетерпеливо и грубо, как настоящий клиент, а судья-LLM выдаёт бинарные решения, привязанные к launch gate.
- Пользователь-симулятор должен звучать как клиент — модель, которая играла пользователя, была слишком вежливой и давала свыше 90% успешных прохождений. После дообучения на реальных обращениях и персонах (например, refund seeker и AI skeptic) показатель упал, и по словам авторов такая оценка полезнее для решения о запуске.
- Бинарные метрики вместо шкал — судья оценивает, выполнена ли задача, например правильно ли агент эскалировал обращение. Точность и полноту судьи проверяют на примерно ста примерах, размеченных вручную, с разбиением на train, dev и test.
- Статистика перед выводами — разница в 4 процентных пункта на 50 трассах ничего не доказывает. Интервалы нужны для чисел, которые влияют на решение о запуске.
- Цикл анализа ошибок — разбор сырых трасс в LangSmith или Langfuse, очередь разметки для экспертов и повтор раз в одну-две недели. Без разметки нельзя проверить самого судью.
Кому полезно: тем, кто выводит агентов поддержки в продакшен и не знает, как проверить их до запуска.
Статья по теме
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
AI Engineer Europe 2026
Близко по содержанию
Как обуздать AI-агентов с помощью evals на основе observability
AI Engineer World's Fair 2025
Близко по содержанию
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
