· AI Engineer World's Fair 2025
Как масштабировать evals: за пределами accuracy и similarity
How to Run Evals at Scale: Thinking Beyond Accuracy or Similarity
Оценки для недетерминированных AI-приложений строятся на нескольких наборах данных и метриках под тип системы: для RAG, генерации кода и агентов проверки разные.
- Данные для evals — начинать можно с синтетических данных, размечать их по сценариям и потокам приложения и пересматривать после каждого наблюдения за выводом системы. Одного набора данных недостаточно, нужен отдельный набор для каждого пути.
- Метрики под тип системы — для RAG подходят точность, схожесть и полезность ответа, для генерации кода функциональная корректность относительно кодовой базы, а для агентов оценка траектории, симуляция многошаговых диалогов и проверка tool calls.
- Масштаб прогонов — кэшировать промежуточные результаты, оркестрировать и распараллеливать прогоны, агрегировать результаты и запускать оценки часто, по циклу: измерять, отслеживать, анализировать и повторять.
- Скорость против точности — выбирать между проверкой людьми и автоматикой в зависимости от задачи, а процесс считать важнее инструментов, потому что автоматизировать всё нельзя.
Кому полезно: тем, кто выводит RAG-систему, агентов или генерацию кода в продакшен и не знает, какие evals писать и на чём их строить.
Статья по теме
Главы
Похожие доклады
Ваши evals бессмысленны — и вот как это исправить
AI Engineer Summit 2025
Близко по содержанию
Превосходство в создании агентов: оценка AI-агентов с помощью Azure AI Evaluation SDK
AI Engineer World's Fair 2025
Близко по содержанию
Evals в ИИ: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию
Адаптивные системы и статичные тесты: зачем нам гибкие evals?
AI Engineer Europe 2026
Близко по содержанию

