· AI Engineer World's Fair 2025
Основы evals
Evals 101 — Doug Guthrie, Braintrust
Evals работают как замкнутый цикл: логи продакшена и отзывы пользователей возвращаются в датасеты для оффлайн-проверок, а стартовать можно с простого baseline.
- Baseline вместо golden dataset — по словам спикера, можно начать с небольшого набора кейсов и простого scorer Levenshtein, а потом улучшать. Хороший вывод с низким скором говорит о проблеме в evals, плохой вывод с высоким скором о проблеме в scorer.
- Сильная модель для оценки — спикер советует использовать более дорогую модель для LLM-as-a-judge, даже если сама задача работает на дешёвой. Scorers стоит делить на узкие критерии, например точность, формат и полноту, а не один общий.
- Оценка отдельных шагов — scorers можно вешать на спаны внутри агентного цикла, например на переформулировку вопроса в RAG-цепочке, а онлайн-скоринг настраивается через sampling rate.
- Возврат продакшен-логов в датасеты — логи с user feedback равным 0 фильтруются в отдельное view, и интересные кейсы попадают в датасет оффлайн-evals. Запуск evals в CI описан через GitHub Action.
Кому полезно: командам, которые уже выводят LLM-приложения в продакшен и хотят связать оффлайн-проверки с онлайн-мониторингом и разметкой людей.
Статья по теме
Главы
Ещё доклады: Doug Guthrie
Страница спикера →Как создавать ИИ-продукты мирового уровня
Doug Guthrie, Carlos Esteban, Sarah Sachs
AI Engineer World's Fair 2025
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Продвинутый практикум по наблюдаемости AI
AI Engineer World's Fair 2026
Похожие доклады
Оценка видео-слопа
AI Engineer World's Fair 2026
Близко по содержанию
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию

