← Каталог

· AI Engineer World's Fair 2026

Будущее evals: от LLM-as-a-judge к агенту-судье

The Future of Evals: From LLM as a Judge to Agent as a Judge — Aparna Dhinakaran, Arize AI

Для агентов с инструментами и длинными траекториями фиксированные рубрики LLM-as-a-judge уже не ловят все сбои, и оценивать такие системы предлагается агентом-судьёй, который разбирает трейсы.

  • Три типа оценок вместо одного — детерминированные проверки, LLM-as-a-judge и Agent-as-a-Judge дополняют друг друга. По словам спикера, большинство команд использует первые два, а будущее за всеми тремя.
  • Неожиданные паттерны в трейсах — агент Signal читает трейсы в продакшене и находит сбои, которые фиксированная рубрика не опишет, например цикл, в котором один и тот же инструмент вызывается много раз подряд.
  • Сбои собственного агента — агент Alyx в Arize забывал контекст, не понимал, что задача завершена, и зацикливался. Классические LLM-as-a-judge оценки не покрывали всех таких сбоев.
  • Исправления через pull request — по словам авторов, Signal на основе анализа трейсов может предложить исправление и открыть pull request. Доклад во многом презентует продукты Arize, но подход можно применить и без них.

Кому полезно: командам, которые оценивают агентов с вызовом инструментов по продакшен-трейсам и уже упёрлись в LLM-as-a-judge.

Статья по теме

Главы

Ещё доклады: Aparna Dhinakaran

Все 5 докладов →

Похожие доклады