← Каталог

· AI Engineer World's Fair 2025

Как масштабировать evals: за пределами accuracy и similarity

How to Run Evals at Scale: Thinking Beyond Accuracy or Similarity

Оценки для недетерминированных AI-приложений строятся на нескольких наборах данных и метриках под тип системы: для RAG, генерации кода и агентов проверки разные.

  • Данные для evals — начинать можно с синтетических данных, размечать их по сценариям и потокам приложения и пересматривать после каждого наблюдения за выводом системы. Одного набора данных недостаточно, нужен отдельный набор для каждого пути.
  • Метрики под тип системы — для RAG подходят точность, схожесть и полезность ответа, для генерации кода функциональная корректность относительно кодовой базы, а для агентов оценка траектории, симуляция многошаговых диалогов и проверка tool calls.
  • Масштаб прогонов — кэшировать промежуточные результаты, оркестрировать и распараллеливать прогоны, агрегировать результаты и запускать оценки часто, по циклу: измерять, отслеживать, анализировать и повторять.
  • Скорость против точности — выбирать между проверкой людьми и автоматикой в зависимости от задачи, а процесс считать важнее инструментов, потому что автоматизировать всё нельзя.

Кому полезно: тем, кто выводит RAG-систему, агентов или генерацию кода в продакшен и не знает, какие evals писать и на чём их строить.

Статья по теме

Главы

Похожие доклады