Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
Judge the Judge: Building LLM Evaluators That Actually Work with GEPA — Mahmoud Mabrouk, Agenta AI
Общий LLM-as-a-Judge с готовой метрикой hallucination плохо совпадает с оценками людей, а калибровка промпта судьи через GEPA по разметке экспертов под бизнес-правила заметно повышает точность.
- Метрики из бизнес-правил — спикер разбил ошибки агента поддержки авиакомпании на четыре типа: соблюдение политики, стиль ответа, передача информации, вызовы инструментов. Под каждый тип он сделал отдельного бинарного судью, а разметка включает обоснование, без которого оптимизатор не понимает, почему нарушена политика.
- Нейтральный стартовый промпт — судья изначально считает ответ соответствующим правилам и меняет вердикт только при конкретной причине. По словам спикера, такой старт дал предсказуемый перекос, а не случайные решения.
- Своя рефлексия для GEPA — стандартный шаблон дал слабый результат, поэтому спикер добавил в него эталонную разметку и просьбу выводить правила политики. Точность на валидации выросла с 61 до 74 процентов, перекос в сторону «соблюдает» снизился с 98 до 64 процентов, но до 95 процентов ещё далеко.
- Модели и цена — GPT-4o и мини-версии для рефлексии и судьи не справились, лучше работали Gemini для рефлексии и Grok для судьи. Эксперименты на длинных трассах обошлись примерно в 200–300 долларов на токенах.
Кому полезно: тем, кто проверяет LLM-судей для агентов поддержки и хочет калибровать их на разметке экспертов до выкатки в продакшен.
Статья по теме
Главы
Похожие доклады
Как написать свой первый AI eval
Близко по содержанию
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию
Как оценить модель для своей задачи
AI Engineer Summit 2023
Близко по содержанию

