· AI Engineer World's Fair 2024
Оценка LLM
Judging LLMs
Продакшен LLM-приложения нужно трассировать и оценивать непрерывно, а LLM-судье без человека и собственных критериев доверять нельзя.
- Трассировка с первого дня — по словам спикера, Weave подключается одной строкой с декоратором Python и сохраняет иерархию вызовов RAG-приложения или агента, версии кода и параметры вроде
temperatureи system prompt. Без такой истории после выкатки регрессию промпта трудно найти. - Промпты до fine-tuning — сначала стоит довести промпты и RAG-пайплайн, например через chain of thought или DSPy, и только потом переходить к дообучению модели.
- Три способа оценки — программные проверки подходят для чисел, кода и запрещённых формулировок и дешевле всего, но не работают с многоходовыми диалогами. Их дополняют проверка человеком и LLM-as-a-judge.
- Свои критерии и проверка судьи — готовые критерии, по словам спикера, слабы. В open source проекте OpenUI оценивают
contrast,relevanceиpolish, а версии 16 и 14 сравнивают прямо в интерфейсе evals.
Кому полезно: тем, кто выводит LLM-приложение в продакшен и пока не трассирует вызовы и не оценивает ответы после каждого изменения промпта.
Статья по теме
Главы
Ещё доклады: Alex Volkov
Страница спикера →Континуум Z/L: должны ли AI-инженеры по-прежнему читать код?
AI Engineer World's Fair 2026
Состояние observability для MCP: Observable.tools
AI Engineer World's Fair 2025
Похожие доклады
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию
Будущее evals: от LLM-as-a-judge к агенту-судье
AI Engineer World's Fair 2026
Близко по содержанию

