← Каталог

· AI Engineer World's Fair 2025

Стратегии для LLM evals (GuideLLM, lm-eval-harness, OpenAI Evals Workshop)

Strategies for LLM Evals (GuideLLM, lm-eval-harness, OpenAI Evals Workshop) — Taylor Jordan Smith

Надёжность LLM-системы в продакшене начинается с замеров производительности под нагрузкой, а проверки точности и безопасности наращиваются поверх по слоям.

  • Производительность как нижний слой — GuideLLM измеряет задержку и пропускную способность при заданной частоте запросов; по словам спикера, менять количество входных и выходных токенов нужно под свой сценарий, будь то чатбот или RAG.
  • Точность через MMLU-Pro — lm-eval-harness запускает MMLU-Pro, а собственный датасет можно оформить в формате вопросов с вариантами ответа, взяв код за основу и заменив источник данных.
  • Безопасность и свои проверки — promptfoo позволяет описывать произвольные тесты; для RAG спикер советует начинать с оценки извлечения чанков и только потом расширять проверку на всю систему.
  • Оценки в CI/CD — спикер советует запускать их в процессе разработки так же, как юнит-тесты, и отвечает этим на вопрос из зала о связи оценок с реальными метриками продакшена.

Кому полезно: тем, кто выводит RAG или агентные системы в продакшен и не знает, с какого компонента начать оценку.

Статья по теме

Главы

Похожие доклады