← Каталог

· AI Engineer World's Fair 2025

Основы evals

Evals 101 — Doug Guthrie, Braintrust

Evals работают как замкнутый цикл: логи продакшена и отзывы пользователей возвращаются в датасеты для оффлайн-проверок, а стартовать можно с простого baseline.

  • Baseline вместо golden dataset — по словам спикера, можно начать с небольшого набора кейсов и простого scorer Levenshtein, а потом улучшать. Хороший вывод с низким скором говорит о проблеме в evals, плохой вывод с высоким скором о проблеме в scorer.
  • Сильная модель для оценки — спикер советует использовать более дорогую модель для LLM-as-a-judge, даже если сама задача работает на дешёвой. Scorers стоит делить на узкие критерии, например точность, формат и полноту, а не один общий.
  • Оценка отдельных шагов — scorers можно вешать на спаны внутри агентного цикла, например на переформулировку вопроса в RAG-цепочке, а онлайн-скоринг настраивается через sampling rate.
  • Возврат продакшен-логов в датасеты — логи с user feedback равным 0 фильтруются в отдельное view, и интересные кейсы попадают в датасет оффлайн-evals. Запуск evals в CI описан через GitHub Action.

Кому полезно: командам, которые уже выводят LLM-приложения в продакшен и хотят связать оффлайн-проверки с онлайн-мониторингом и разметкой людей.

Статья по теме

Главы

Ещё доклады: Doug Guthrie

Страница спикера →

Похожие доклады