· AI Engineer World's Fair 2026
Насколько надёжны бенчмарки производительности LLM?
Are LLM Performance Benchmarks Reliable? — Ashok Chandrasekar & Jason Kramberger, Google
Цифры бенчмарка производительности LLM-сервера часто определяет клиент нагрузки, поэтому проверять надо и его, и сервер.
- Клиент как источник ошибок — однопроцессные harness из-за GIL не выдавали заявленные 200 QPS: на маленькой машине получали 38 QPS, на большой около 170. В одном из тестов задержка из-за самого клиента доходила до 58 секунд, хотя узким местом был не сервер.
- Многопроцессный генератор нагрузки — InferencePerf распределяет очередь запросов по процессам и фиксирует, с каким опозданием отправлен каждый запрос. По словам авторов, на 5000 QPS он успевает за заданным темпом и сообщает об этом вместе с серверными метриками.
- Параметры, которые искажают результат — один бенчмарк показывал на 20% больше пропускной способности из-за температуры 0 вместо привычных около 0,7. Один и тот же датасет разные инструменты обрабатывают по-разному и получают разное число входных токенов.
- Повторяемые сценарии — декларативная конфигурация и каталог сценариев нагрузки (многоходовые диалоги, агентная генерация кода, пакетная суммаризация) позволяют повторить тот же прогон и сравнить результаты между инструментами.
Кому полезно: тем, кто замеряет производительность inference-стека под продакшен-нагрузкой и не может воспроизвести цифры из чужих бенчмарков.
Статья по теме
Главы
Похожие доклады
В чём модели всё ещё ужасно справляются?
AI Engineer Europe 2026
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Бенчмарки: хорошие, плохие и ужасные
AI Engineer World's Fair 2026
Близко по содержанию
Игра бенчмарков: почему она подтасована и как действительно победить
AI Engineer World's Fair 2025
Близко по содержанию


