· AI Engineer World's Fair 2024
LLM evals, которые работают в реальных условиях
LLM Evals That Work IRL
Оценки LLM-приложения лучше строить на разных уровнях, а LLM-as-a-judge с объяснениями полезнее числовых баллов.
- Проверка router и вызовов функций — в чат-боте для покупок router определяет намерение пользователя, и ошибка на этом шаге уводит весь дальнейший путь. Спикер советует проверять и выбранную функцию, и извлечённые параметры: правильная функция с неверными параметрами всё равно даст неверный результат.
- Объяснения в оценках — по словам спикера, в продакшене самыми полезными оказываются оценки с объяснением, потому что они показывают, где искать проблему. В демо на Phoenix (open source) такая оценка привязана к конкретному шагу трассировки, и пример можно добавить в датасет для экспериментов.
- Числовые баллы ненадёжны — в тесте с испорченным текстом LLM-as-a-judge почти всегда ставил одну и ту же оценку при 11% и 80% ошибок, а разброс у моделей был почти бинарным. Спикер советует не опираться только на числовые оценки.
- Позиция факта в контексте — по данным спикера, в тесте needle-in-a-haystack модели хуже находили факт в начале длинного контекста, и это важно для RAG. Просьба сначала объяснить ход рассуждения, а потом ответить, заметно подняла качество генерации у GPT-4.
Кому полезно: тем, кто строит агентные приложения с router и вызовами функций и настраивает LLM-as-a-judge для проверки в продакшене.
Статья по теме
Главы
Ещё доклады: Aparna Dhinakaran
Все 5 докладов →Чем теперь занимается AI-инженер?
Неожиданная эффективность обучения промптам
AI Engineer Code 2025
Будущее evals: от LLM-as-a-judge к агенту-судье
AI Engineer World's Fair 2026
Похожие доклады
Ломай, пока не заработает: создаём самоулучшающийся стек для AI-агентов
AI Engineer World's Fair 2025
Тот же спикер: Aparna Dhinakaran
Хватит оценивать модели как в 50-е
AI Engineer World's Fair 2026
Близко по содержанию
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию

