· AI Engineer World's Fair 2025
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
Engineering Better Evals: Scalable LLM Evaluation Pipelines That Work
Оценка LLM-приложений в продакшене должна сочетать код, LLM-as-a-judge и разметку людей, а LLM-судью стоит сверять с размеченным golden dataset.
- Код там, где хватает проверок — поиск слов в ответе, regex и парсинг JSON стоят почти ничего и работают быстрее любого судьи. Encoder-only модели, по словам спикера, примерно в десять раз дешевле LLM-судьи и на один-два порядка быстрее.
- Судья тоже требует проверки — LLM-судью прогоняют по golden dataset, размеченному вручную, и смотрят, насколько его оценки совпадают с человеческими, прежде чем доверять ему весь трафик.
- Агенты оцениваются по траекториям — важно распределение путей по всем вызовам, а не один трейс: по словам спикера, при другом порядке шагов оценки могут падать из-за скрытой зависимости между компонентами.
- Guardrails не исправляют корень — сначала правят промпты и оркестрацию, а guardrails, в том числе embedding-based, ловят только известные сценарии и добавляют задержку.
Кому полезно: тем, кто выводит RAG-системы и агентов в продакшен и решает, какие оценки запускать онлайн, а какие офлайн. Доклад во многом презентация продукта Arize, но инженерная часть про слои оценок полезна и без него.
Статья по теме
Главы
Ещё доклады: Aman Khan
Страница спикера →Как выпускать работающий AI: фреймворк оценки для продакт-менеджеров
AI Engineer World's Fair 2025
Ещё доклады: Dat Ngo
Страница спикера →Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Похожие доклады
Дайте агенту развернуться: как с помощью Skills оценивать и улучшать приложение
AI Engineer World's Fair 2026
Близко по содержанию
Почему создать eval-платформу сложнее, чем кажется
AI Engineer World's Fair 2026
Близко по содержанию


