← Каталог

Ваш LLM-as-a-judge — самоуверенный лжец: как создавать более надёжные верификаторы

Your LLM Judge Is a Confident Liar: Building Better Verifiers — Browserbase

LLM-судья для веб-агентов завышает успех: по словам авторов, Fara-7B на WebVoyager получает около 74% под судьёй GPT-4o и около 38% под их верификатором, который опирается на рубрики и проверку скриншотов.

  • Рубрика и скриншоты на каждый критерий — верификатор сначала генерирует критерии только для запрошенной работы, затем ранжирует скриншоты под каждый критерий и сверяет заявления агента с тем, что видно в среде.
  • Частичный и бинарный балл — процессный балл даёт частичный кредит, а итоговый бинарный вердикт учитывает, что недоступный товар или блокер не должны считаться ошибкой агента, если он сделал всё возможное.
  • Согласие с людьми — каппа Коэна около 0,58 на датасете Browserbase, что сопоставимо с согласием разметчиков между собой; по статье, ложноположительных итоговых оценок 1% внутри и 8% на датасете Browserbase.
  • Фильтрация данных и автоматизация — при supervised fine-tuning обучение на траекториях, отобранных верификатором, дало лучшую модель; autoresearch за день повторил три недели экспериментов, но вышел примерно на 70% согласия экспертов. Код и CUAVerifierBench опубликованы в microsoft/fara.

Кому полезно: тем, кто оценивает веб-агентов или использует LLM-судью как reward для обучения.

Статья по теме

Главы

Похожие доклады