· AI Engineer World's Fair 2025
Стратегии для LLM evals (GuideLLM, lm-eval-harness, OpenAI Evals Workshop)
Strategies for LLM Evals (GuideLLM, lm-eval-harness, OpenAI Evals Workshop) — Taylor Jordan Smith
Надёжность LLM-системы в продакшене начинается с замеров производительности под нагрузкой, а проверки точности и безопасности наращиваются поверх по слоям.
- Производительность как нижний слой —
GuideLLMизмеряет задержку и пропускную способность при заданной частоте запросов; по словам спикера, менять количество входных и выходных токенов нужно под свой сценарий, будь то чатбот или RAG. - Точность через MMLU-Pro —
lm-eval-harnessзапускает MMLU-Pro, а собственный датасет можно оформить в формате вопросов с вариантами ответа, взяв код за основу и заменив источник данных. - Безопасность и свои проверки —
promptfooпозволяет описывать произвольные тесты; для RAG спикер советует начинать с оценки извлечения чанков и только потом расширять проверку на всю систему. - Оценки в CI/CD — спикер советует запускать их в процессе разработки так же, как юнит-тесты, и отвечает этим на вопрос из зала о связи оценок с реальными метриками продакшена.
Кому полезно: тем, кто выводит RAG или агентные системы в продакшен и не знает, с какого компонента начать оценку.
Статья по теме
Главы
Похожие доклады
Защита LLM: безопасность, конфиденциальность, соответствие требованиям и борьба с галлюцинациями
AI Engineer World's Fair 2024
Близко по содержанию
Пять уроков об evals, усвоенных на собственном опыте
AI Engineer World's Fair 2025
Близко по содержанию
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию
Создаём настоящих агентов: практические evals для агентных приложений
AI Engineer Europe 2026
Близко по содержанию

