← Каталог

· AI Engineer Europe 2026

Создаём настоящих агентов: практические evals для агентных приложений

Ship Real Agents: Hands-On Evals for Agentic Applications

Оценка агента начинается с чтения трейсов: по ним находятся типы сбоев, и только после этого пишутся code eval и LLM-judge.

  • Трейсы раньше метрик — в разборе финансового агента на Claude часть сбоев не была видна по итоговым отчётам: агент пытался записать отчёт на диск, написал про AWS вместо Amazon, а в одном отчёте приводил правдоподобные цифры по компании без публичной отчётности, которые нужно проверять.
  • Выбор evaluator важнее его настройки — code eval по упоминанию тикера прошёл 11 из 13 запусков, встроенный correctness judge поставил 0 из 13, потому что модель не знала текущих дат, а faithfulness (сверка отчёта с собранным исследованием) прошёл 13 из 13.
  • Кастомный judge с примерами — по словам спикера, пример в рубрике работает лучше списка правил, а judge должен отвечать одной меткой без оценок от 1 до 10; общий judge на всё сразу лучше разбить на отдельные проверки.
  • Калибровка judge по золотому датасету — judge сверяют с размеченными человеком примерами, разбитыми 75/25; по словам спикера, эксперты часто расходятся на 70–80%, поэтому judge не обязан совпадать с людьми полностью.

Кому полезно: тем, кто уже запустил агента в работу и не понимает, почему он ломается, а тестов пока нет.

Статья по теме

На какие вопросы отвечает доклад

  • Какие проверки агента можно делать без LLM, чтобы они работали быстро и дёшево?

    Детерминированные code evals проверяют формат JSON, длину ответа, запрещённые фразы и наличие нужной компании в тексте. На примере финансового агента проверка тикера нашла два отчёта, где компания не упоминалась: один писал про AWS вместо Amazon.

    ▶ 48:45Многоуровневые защитные меры и детерминированные evals кода
  • Почему встроенный correctness judge ставит ноль всем ответам агента?

    Судья опирался на собственные знания модели, которые не покрывали данные 2026 года, поэтому все оценки вышли нулевыми. Faithfulness eval, который сверяет отчёт с результатами исследования, прошёл все 13 трейсов.

    ▶ 57:37Оценка достоверности и пользовательские критерии для оценки
  • Как написать rubric для LLM-judge, чтобы он давал стабильные оценки?

    Нужны пять частей: роль судьи, конкретные критерии из ошибок, которые видны в трейсах, разметка данных тегами, размеченные примеры и бинарный вывод без оценок от 1 до 10.

    ▶ 57:37Оценка достоверности и пользовательские критерии для оценки
  • Как проверить, что LLM-судья оценивает правильно, а не выдумывает?

    Судью сверяют с golden dataset, собранным людьми по заранее заданным критериям, и считают precision и recall. По словам автора, согласованность двух экспертов часто бывает всего 0,2–0,3, поэтому судья не обязан быть идеальным.

    ▶ 1:12:32Тесты возможностей, подгонка под evals и итерации запросов
  • Как улучшать промпт агента по результатам evals, а не на глаз?

    Неудачные трейсы добавляют в датасет, меняют промпт по конкретным объяснениям судьи и запускают эксперимент на той же выборке. Так оценки до и после изменения сравниваются при одинаковых входах и судьях.

    ▶ 1:12:32Тесты возможностей, подгонка под evals и итерации запросов
  • Как собрать тестовые данные для агента, если пользователей ещё нет?

    Использовать синтетические запросы, которые генерирует LLM, и добавить крайние случаи: несуществующие тикеры, составные вопросы, попытки взлома. Редкие случаи часто попадают в жалобы первыми.

    ▶ 16:45Трассировка [REDACTED:username] и анализ сбоев финансового агента

Главы

Ещё доклады: Laurie Voss

Все 7 докладов →

Похожие доклады