← Каталог

· AI Engineer Summit 2025

Ваши evals бессмысленны — и вот как это исправить

Your Evals Are Meaningless (And Here’s How to Fix Them)

Evals на LLM-судьях измеряют не то, что нужно продакшену, пока их критерии не выверены экспертами, а датасет не пополняется реальными запросами.

  • Критерии от экспертов — встроенные метрики RAGAS, promptfoo и LangChain измеряют общую релевантность, и в примере с рекомендациями для e-commerce судья завышал совпадение слов и пропускал жалобы пользователей. Спикер советует, чтобы эксперты писали критерии и граничные случаи, а их разборы ошибок судьи шли в few-shot примеры промпта.
  • Датасет из продакшена — запросы, на которых система падает в проде, попадают в тестовый набор вместе с эталонными метками. Иначе тесты со временем перестают отражать реальных пользователей.
  • Бинарные оценки и трекинг согласия — спикер рекомендует бинарную шкалу вместо Likert и выводить согласие судьи с людьми на панель: F1 для бинарных оценок, корреляция для шкал.
  • Скорость и цена — по словам спикера, разметка тысячи кейсов сокращается с восьми-десяти часов до часа, а согласие с людьми достигает около 80%.

Кому полезно: тем, кто использует LLM-судей для оценки RAG или агентов и видит расхождение между метриками и жалобами пользователей.

Статья по теме

Главы

Похожие доклады