← Каталог

· AI Engineer World's Fair 2025

Как создавать эффективные evals: масштабируемые конвейеры оценки LLM

Engineering Better Evals: Scalable LLM Evaluation Pipelines That Work

Оценка LLM-приложений в продакшене должна сочетать код, LLM-as-a-judge и разметку людей, а LLM-судью стоит сверять с размеченным golden dataset.

  • Код там, где хватает проверок — поиск слов в ответе, regex и парсинг JSON стоят почти ничего и работают быстрее любого судьи. Encoder-only модели, по словам спикера, примерно в десять раз дешевле LLM-судьи и на один-два порядка быстрее.
  • Судья тоже требует проверки — LLM-судью прогоняют по golden dataset, размеченному вручную, и смотрят, насколько его оценки совпадают с человеческими, прежде чем доверять ему весь трафик.
  • Агенты оцениваются по траекториям — важно распределение путей по всем вызовам, а не один трейс: по словам спикера, при другом порядке шагов оценки могут падать из-за скрытой зависимости между компонентами.
  • Guardrails не исправляют корень — сначала правят промпты и оркестрацию, а guardrails, в том числе embedding-based, ловят только известные сценарии и добавляют задержку.

Кому полезно: тем, кто выводит RAG-системы и агентов в продакшен и решает, какие оценки запускать онлайн, а какие офлайн. Доклад во многом презентация продукта Arize, но инженерная часть про слои оценок полезна и без него.

Статья по теме

Главы

Ещё доклады: Aman Khan

Страница спикера →

Ещё доклады: Dat Ngo

Страница спикера →

Похожие доклады