← Каталог

· AI Engineer World's Fair 2024

LLM evals, которые работают в реальных условиях

LLM Evals That Work IRL

Оценки LLM-приложения лучше строить на разных уровнях, а LLM-as-a-judge с объяснениями полезнее числовых баллов.

  • Проверка router и вызовов функций — в чат-боте для покупок router определяет намерение пользователя, и ошибка на этом шаге уводит весь дальнейший путь. Спикер советует проверять и выбранную функцию, и извлечённые параметры: правильная функция с неверными параметрами всё равно даст неверный результат.
  • Объяснения в оценках — по словам спикера, в продакшене самыми полезными оказываются оценки с объяснением, потому что они показывают, где искать проблему. В демо на Phoenix (open source) такая оценка привязана к конкретному шагу трассировки, и пример можно добавить в датасет для экспериментов.
  • Числовые баллы ненадёжны — в тесте с испорченным текстом LLM-as-a-judge почти всегда ставил одну и ту же оценку при 11% и 80% ошибок, а разброс у моделей был почти бинарным. Спикер советует не опираться только на числовые оценки.
  • Позиция факта в контексте — по данным спикера, в тесте needle-in-a-haystack модели хуже находили факт в начале длинного контекста, и это важно для RAG. Просьба сначала объяснить ход рассуждения, а потом ответить, заметно подняла качество генерации у GPT-4.

Кому полезно: тем, кто строит агентные приложения с router и вызовами функций и настраивает LLM-as-a-judge для проверки в продакшене.

Статья по теме

Главы

Ещё доклады: Aparna Dhinakaran

Все 5 докладов →

Похожие доклады