← Каталог

· AI Engineer Europe 2026

Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA

Judge the Judge: Building LLM Evaluators That Actually Work with GEPA — Mahmoud Mabrouk, Agenta AI

Общий LLM-as-a-Judge с готовой метрикой hallucination плохо совпадает с оценками людей, а калибровка промпта судьи через GEPA по разметке экспертов под бизнес-правила заметно повышает точность.

  • Метрики из бизнес-правил — спикер разбил ошибки агента поддержки авиакомпании на четыре типа: соблюдение политики, стиль ответа, передача информации, вызовы инструментов. Под каждый тип он сделал отдельного бинарного судью, а разметка включает обоснование, без которого оптимизатор не понимает, почему нарушена политика.
  • Нейтральный стартовый промпт — судья изначально считает ответ соответствующим правилам и меняет вердикт только при конкретной причине. По словам спикера, такой старт дал предсказуемый перекос, а не случайные решения.
  • Своя рефлексия для GEPA — стандартный шаблон дал слабый результат, поэтому спикер добавил в него эталонную разметку и просьбу выводить правила политики. Точность на валидации выросла с 61 до 74 процентов, перекос в сторону «соблюдает» снизился с 98 до 64 процентов, но до 95 процентов ещё далеко.
  • Модели и цена — GPT-4o и мини-версии для рефлексии и судьи не справились, лучше работали Gemini для рефлексии и Grok для судьи. Эксперименты на длинных трассах обошлись примерно в 200–300 долларов на токенах.

Кому полезно: тем, кто проверяет LLM-судей для агентов поддержки и хочет калибровать их на разметке экспертов до выкатки в продакшен.

Статья по теме

Главы

Похожие доклады