← Каталог

Evals AI-агентов для задач с высокой ценой ошибки

Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse

Агентов в регулируемых сферах стоит проверять на эталонных данных от экспертов, а не на зелёных системных метриках.

  • Эталонные данные от экспертов — спикеры предлагают экспертную курацию, теневые прогоны, когда агент работает параллельно с ручным процессом и его ответы сравниваются с решениями людей, и human-in-the-loop с постепенной передачей задач автоматике.
  • Категории ошибок из комментариев — эксперты оставляют сырые комментарии к трейсам, а LLM группирует их в повторяющиеся категории ошибок, которые затем становятся критериями оценки.
  • Судья плюс детерминированные проверки — LLM-as-a-judge стоит сочетать с regex и точным сравнением, а сам судья калибруется по разметке людей. По словам спикеров, один и тот же вход в детерминированной проверке всегда даёт один и тот же результат.
  • Порог качества в CI — смена промпта запускает эксперимент в GitHub CI с порогами по скорам. В демо на Langfuse production-метка ставится до окончания проверки, поэтому проверку, которая должна блокировать деплой, нужно запускать на кандидате до назначения метки.

Кому полезно: тем, кто выводит агентов в финансы, медицину или другие регулируемые сферы и должен показать качество до релиза.

Статья по теме

На какие вопросы отвечает доклад

  • Как собрать эталонный датасет для AI-агента в регулируемой отрасли, если размеченных данных нет?

    Экспертная курация, shadow runs, когда агент работает параллельно с ручным процессом, и human-in-the-loop с постепенным выделением задач, которые можно автоматизировать. Так накапливается эталон для сверки агента.

    ▶ 4:24Цикл AI-инжиниринга
  • Как из комментариев доменных экспертов получить список типов ошибок агента?

    Эксперт не придумывает категории, а оставляет сырые комментарии и простые оценки вроде да или нет. LLM группирует комментарии по повторяющимся паттернам, и получаются failure modes для метрик.

    ▶ 24:53Экспертная проверка и режимы отказа
  • Как не выкатить изменение промпта, если качество агента упало?

    При изменении промпта CI запускает experiment на датасете, а пороги по каждому evaluator дают pass или fail. Проверка должна идти по кандидату до того, как версия получит production-метку.

    ▶ 34:23Изменения инструкций и контрольные проверки оценки в CI
  • Как не сохранять персональные данные клиентов в трейсах LLM-приложения?

    Маскирующая функция заменяет заданные типы PII, например номера карт, до того как трейс сохранится. В системе наблюдаемости остаётся уже редактированный текст.

    ▶ 11:56Банковский ассистент, трассировка и маскирование PII
  • Почему нельзя оценивать агента только LLM-судьей?

    LLM-судья даёт недетерминированные оценки, поэтому его сочетают с детерминированными проверками вроде regex и точного совпадения. Такие проверки на одном и том же входе всегда дают один результат.

    ▶ 30:24Оценщики и эксперименты

Главы

Ещё доклады: Annabell Schäfer

Страница спикера →

Похожие доклады