← Каталог

Как написать свой первый AI eval

How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI

Первый eval для агента начинается с одного конкретного критерия успеха, который переводится в pass/fail-инструкцию для LLM-судьи, а не с общей оценки «полезности».

  • Vibe checks не ловят регрессии — после правки промпта они не показывают, что сломалось, не позволяют сравнить промпты или модели и не дают проверять качество в CI.
  • Span как единица оценки — root span, у которого parent ID равен null, хранит вход и итоговый ответ, tool span отвечает за внешние данные. Оценивать стоит тот шаг, где видна конкретная ошибка.
  • Один критерий на одного судью — по словам спикера, LLM-as-a-judge надёжно справляется только с одним качеством за раз. Например, «ответ учитывает уточнение пользователя» с явными пунктами pass и fail.
  • Старт с малого — около двадцати трейсов, одно измерение и один судья. Объяснения судьи показывают, что поправить в промпте, а новые eval стоит добавлять, когда реальное использование выявит новые типы сбоев.

Кому полезно: тем, кто впервые пишет LLM-судью для агента с вызовами инструментов и хочет проверять правки промпта не на глаз.

Статья по теме

На какие вопросы отвечает доклад

  • Почему изменение промпта ломает агента незаметно и как это поймать?

    Проверка на глаз не находит регрессии и не даёт сравнить промпты или модели. Evals позволяют сравнивать объективно и ставить quality gates в CI.

    ▶ 2:12Почему субъективные проверки пропускают регрессии
  • Чем AI-евалы отличаются от unit-тестов для LLM-агента?

    У агента много допустимых ответов, а его логика видна только в трейсах, поэтому один тест с одним правильным выходом не покажет качество. Трейсы работают как логи, evals как тесты.

    ▶ 3:11AI evals и модульные тесты
  • Как задать критерии качества для агента планирования поездок вместо расплывчатого «полезный ответ»?

    Нужно писать конкретные критерии: ответ отвечает на уточняющие вопросы, совпадает с запрошенным числом дней и укладывается в бюджет. Для каждого критерия описываются несколько признаков pass и fail.

    ▶ 18:49Определение конкретных критериев успеха
  • Сколько критериев качества проверять одним LLM-judge за раз?

    По словам спикера, LLM-as-a-judge хорошо справляется только с одним критерием, поэтому начинать стоит с одного. Decision models и agent-as-a-judge допускают несколько критериев сразу, остальные добавляются позже.

    ▶ 18:49Определение конкретных критериев успеха
  • Как превратить критерии качества агента в промпт для LLM-judge?

    Описать роль судьи, вставить критерии как pass и fail буллеты, задать метки и explanation, сопоставить переменные с данными трейсов. Затем прогнать промпт на датасете в Prompt Playground и править его по результатам.

    ▶ 27:23Создание LLM-судьи в Prompt Playground
  • Как проверить, что LLM-judge совпадает с оценкой людей?

    Разметить вручную примеры из датасета и сравнить их с оценками judge, это спикер называет alignment. После этого eval запускают непрерывно на входящих трейсах, это online evals.

    ▶ 32:51Согласование оценок с людьми, онлайн-evals и дальнейшие шаги

Главы

Ещё доклады: Sally-Ann DeLucia

Страница спикера →

Похожие доклады