Ваши evals бессмысленны — и вот как это исправить
Your Evals Are Meaningless (And Here’s How to Fix Them)
Evals на LLM-судьях измеряют не то, что нужно продакшену, пока их критерии не выверены экспертами, а датасет не пополняется реальными запросами.
- Критерии от экспертов — встроенные метрики RAGAS, promptfoo и LangChain измеряют общую релевантность, и в примере с рекомендациями для e-commerce судья завышал совпадение слов и пропускал жалобы пользователей. Спикер советует, чтобы эксперты писали критерии и граничные случаи, а их разборы ошибок судьи шли в few-shot примеры промпта.
- Датасет из продакшена — запросы, на которых система падает в проде, попадают в тестовый набор вместе с эталонными метками. Иначе тесты со временем перестают отражать реальных пользователей.
- Бинарные оценки и трекинг согласия — спикер рекомендует бинарную шкалу вместо Likert и выводить согласие судьи с людьми на панель: F1 для бинарных оценок, корреляция для шкал.
- Скорость и цена — по словам спикера, разметка тысячи кейсов сокращается с восьми-десяти часов до часа, а согласие с людьми достигает около 80%.
Кому полезно: тем, кто использует LLM-судей для оценки RAG или агентов и видит расхождение между метриками и жалобами пользователей.
Статья по теме
Главы
Похожие доклады
Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Близко по содержанию
Как оценить модель для своей задачи
AI Engineer Summit 2023
Близко по содержанию
Внутри 847 клинических AI-заметок из продакшена
AI Engineer World's Fair 2026
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию

