· AI Engineer World's Fair 2026
Будущее evals: от LLM-as-a-judge к агенту-судье
The Future of Evals: From LLM as a Judge to Agent as a Judge — Aparna Dhinakaran, Arize AI
Для агентов с инструментами и длинными траекториями фиксированные рубрики LLM-as-a-judge уже не ловят все сбои, и оценивать такие системы предлагается агентом-судьёй, который разбирает трейсы.
- Три типа оценок вместо одного — детерминированные проверки, LLM-as-a-judge и Agent-as-a-Judge дополняют друг друга. По словам спикера, большинство команд использует первые два, а будущее за всеми тремя.
- Неожиданные паттерны в трейсах — агент Signal читает трейсы в продакшене и находит сбои, которые фиксированная рубрика не опишет, например цикл, в котором один и тот же инструмент вызывается много раз подряд.
- Сбои собственного агента — агент Alyx в Arize забывал контекст, не понимал, что задача завершена, и зацикливался. Классические LLM-as-a-judge оценки не покрывали всех таких сбоев.
- Исправления через pull request — по словам авторов, Signal на основе анализа трейсов может предложить исправление и открыть pull request. Доклад во многом презентует продукты Arize, но подход можно применить и без них.
Кому полезно: командам, которые оценивают агентов с вызовом инструментов по продакшен-трейсам и уже упёрлись в LLM-as-a-judge.
Статья по теме
Главы
Ещё доклады: Aparna Dhinakaran
Все 5 докладов →Чем теперь занимается AI-инженер?
Неожиданная эффективность обучения промптам
AI Engineer Code 2025
LLM evals, которые работают в реальных условиях
AI Engineer World's Fair 2024
Похожие доклады
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Тот же спикер: Aparna Dhinakaran
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Тот же спикер: Aparna Dhinakaran
Ваш LLM-as-a-judge — самоуверенный лжец: как создавать более надёжные верификаторы
Corby Rosset, Miguel González Fernández
Близко по содержанию
Почему создать eval-платформу сложнее, чем кажется
AI Engineer World's Fair 2026
Близко по содержанию

