Evals AI-агентов для задач с высокой ценой ошибки
Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse
Агентов в регулируемых сферах стоит проверять на эталонных данных от экспертов, а не на зелёных системных метриках.
- Эталонные данные от экспертов — спикеры предлагают экспертную курацию, теневые прогоны, когда агент работает параллельно с ручным процессом и его ответы сравниваются с решениями людей, и human-in-the-loop с постепенной передачей задач автоматике.
- Категории ошибок из комментариев — эксперты оставляют сырые комментарии к трейсам, а LLM группирует их в повторяющиеся категории ошибок, которые затем становятся критериями оценки.
- Судья плюс детерминированные проверки — LLM-as-a-judge стоит сочетать с regex и точным сравнением, а сам судья калибруется по разметке людей. По словам спикеров, один и тот же вход в детерминированной проверке всегда даёт один и тот же результат.
- Порог качества в CI — смена промпта запускает эксперимент в GitHub CI с порогами по скорам. В демо на Langfuse production-метка ставится до окончания проверки, поэтому проверку, которая должна блокировать деплой, нужно запускать на кандидате до назначения метки.
Кому полезно: тем, кто выводит агентов в финансы, медицину или другие регулируемые сферы и должен показать качество до релиза.
Статья по теме
На какие вопросы отвечает доклад
Как собрать эталонный датасет для AI-агента в регулируемой отрасли, если размеченных данных нет?
Экспертная курация, shadow runs, когда агент работает параллельно с ручным процессом, и human-in-the-loop с постепенным выделением задач, которые можно автоматизировать. Так накапливается эталон для сверки агента.
▶ 4:24Цикл AI-инжинирингаКак из комментариев доменных экспертов получить список типов ошибок агента?
Эксперт не придумывает категории, а оставляет сырые комментарии и простые оценки вроде да или нет. LLM группирует комментарии по повторяющимся паттернам, и получаются failure modes для метрик.
▶ 24:53Экспертная проверка и режимы отказаКак не выкатить изменение промпта, если качество агента упало?
При изменении промпта CI запускает experiment на датасете, а пороги по каждому evaluator дают pass или fail. Проверка должна идти по кандидату до того, как версия получит production-метку.
▶ 34:23Изменения инструкций и контрольные проверки оценки в CIКак не сохранять персональные данные клиентов в трейсах LLM-приложения?
Маскирующая функция заменяет заданные типы PII, например номера карт, до того как трейс сохранится. В системе наблюдаемости остаётся уже редактированный текст.
▶ 11:56Банковский ассистент, трассировка и маскирование PIIПочему нельзя оценивать агента только LLM-судьей?
LLM-судья даёт недетерминированные оценки, поэтому его сочетают с детерминированными проверками вроде regex и точного совпадения. Такие проверки на одном и том же входе всегда дают один результат.
▶ 30:24Оценщики и эксперименты
Главы
Ещё доклады: Annabell Schäfer
Страница спикера →Как непрерывно улучшать agents с Langfuse
Annabell Schäfer, Lotte Verheyden
AI Engineer World's Fair 2026
Хватит сжигать токены: почему для самоулучшения сначала нужна экспертиза в предметной области
AI Engineer World's Fair 2026
Похожие доклады
7 привычек эффективной оценки генеративного ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Юрский период ИИ
AI Engineer World's Fair 2026
Близко по содержанию
Как обуздать AI-агентов с помощью evals на основе observability
AI Engineer World's Fair 2025
Близко по содержанию


