Как написать свой первый AI eval
How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI
Первый eval для агента начинается с одного конкретного критерия успеха, который переводится в pass/fail-инструкцию для LLM-судьи, а не с общей оценки «полезности».
- Vibe checks не ловят регрессии — после правки промпта они не показывают, что сломалось, не позволяют сравнить промпты или модели и не дают проверять качество в CI.
- Span как единица оценки — root span, у которого parent ID равен null, хранит вход и итоговый ответ, tool span отвечает за внешние данные. Оценивать стоит тот шаг, где видна конкретная ошибка.
- Один критерий на одного судью — по словам спикера, LLM-as-a-judge надёжно справляется только с одним качеством за раз. Например, «ответ учитывает уточнение пользователя» с явными пунктами pass и fail.
- Старт с малого — около двадцати трейсов, одно измерение и один судья. Объяснения судьи показывают, что поправить в промпте, а новые eval стоит добавлять, когда реальное использование выявит новые типы сбоев.
Кому полезно: тем, кто впервые пишет LLM-судью для агента с вызовами инструментов и хочет проверять правки промпта не на глаз.
Статья по теме
На какие вопросы отвечает доклад
Почему изменение промпта ломает агента незаметно и как это поймать?
Проверка на глаз не находит регрессии и не даёт сравнить промпты или модели. Evals позволяют сравнивать объективно и ставить quality gates в CI.
▶ 2:12Почему субъективные проверки пропускают регрессииЧем AI-евалы отличаются от unit-тестов для LLM-агента?
У агента много допустимых ответов, а его логика видна только в трейсах, поэтому один тест с одним правильным выходом не покажет качество. Трейсы работают как логи, evals как тесты.
▶ 3:11AI evals и модульные тестыКак задать критерии качества для агента планирования поездок вместо расплывчатого «полезный ответ»?
Нужно писать конкретные критерии: ответ отвечает на уточняющие вопросы, совпадает с запрошенным числом дней и укладывается в бюджет. Для каждого критерия описываются несколько признаков pass и fail.
▶ 18:49Определение конкретных критериев успехаСколько критериев качества проверять одним LLM-judge за раз?
По словам спикера, LLM-as-a-judge хорошо справляется только с одним критерием, поэтому начинать стоит с одного. Decision models и agent-as-a-judge допускают несколько критериев сразу, остальные добавляются позже.
▶ 18:49Определение конкретных критериев успехаКак превратить критерии качества агента в промпт для LLM-judge?
Описать роль судьи, вставить критерии как pass и fail буллеты, задать метки и explanation, сопоставить переменные с данными трейсов. Затем прогнать промпт на датасете в Prompt Playground и править его по результатам.
▶ 27:23Создание LLM-судьи в Prompt PlaygroundКак проверить, что LLM-judge совпадает с оценкой людей?
Разметить вручную примеры из датасета и сравнить их с оценками judge, это спикер называет alignment. После этого eval запускают непрерывно на входящих трейсах, это online evals.
▶ 32:51Согласование оценок с людьми, онлайн-evals и дальнейшие шаги
Главы
Ещё доклады: Sally-Ann DeLucia
Страница спикера →Как мы решили проблему управления контекстом в агентах
AI Engineer Europe 2026
Построение цикла обучения промптов
AI Engineer Code 2025
Похожие доклады
Почему сложно создавать платформы для evals
AI Engineer Europe 2026
Близко по содержанию
Практикум по смене моделей: GPT-5.5 против Kimi, DeepSeek и Mistral
AI Engineer World's Fair 2026
Близко по содержанию
Как agents совершенствуются, пока вы спите
Близко по содержанию
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию

