← Каталог

· AI Engineer World's Fair 2024

Оценка LLM

Judging LLMs

Продакшен LLM-приложения нужно трассировать и оценивать непрерывно, а LLM-судье без человека и собственных критериев доверять нельзя.

  • Трассировка с первого дня — по словам спикера, Weave подключается одной строкой с декоратором Python и сохраняет иерархию вызовов RAG-приложения или агента, версии кода и параметры вроде temperature и system prompt. Без такой истории после выкатки регрессию промпта трудно найти.
  • Промпты до fine-tuning — сначала стоит довести промпты и RAG-пайплайн, например через chain of thought или DSPy, и только потом переходить к дообучению модели.
  • Три способа оценки — программные проверки подходят для чисел, кода и запрещённых формулировок и дешевле всего, но не работают с многоходовыми диалогами. Их дополняют проверка человеком и LLM-as-a-judge.
  • Свои критерии и проверка судьи — готовые критерии, по словам спикера, слабы. В open source проекте OpenUI оценивают contrast, relevance и polish, а версии 16 и 14 сравнивают прямо в интерфейсе evals.

Кому полезно: тем, кто выводит LLM-приложение в продакшен и пока не трассирует вызовы и не оценивает ответы после каждого изменения промпта.

Статья по теме

Главы

Ещё доклады: Alex Volkov

Страница спикера →

Похожие доклады