← Каталог

· AI Engineer World's Fair 2026

Насколько надёжны бенчмарки производительности LLM?

Are LLM Performance Benchmarks Reliable? — Ashok Chandrasekar & Jason Kramberger, Google

Цифры бенчмарка производительности LLM-сервера часто определяет клиент нагрузки, поэтому проверять надо и его, и сервер.

  • Клиент как источник ошибок — однопроцессные harness из-за GIL не выдавали заявленные 200 QPS: на маленькой машине получали 38 QPS, на большой около 170. В одном из тестов задержка из-за самого клиента доходила до 58 секунд, хотя узким местом был не сервер.
  • Многопроцессный генератор нагрузки — InferencePerf распределяет очередь запросов по процессам и фиксирует, с каким опозданием отправлен каждый запрос. По словам авторов, на 5000 QPS он успевает за заданным темпом и сообщает об этом вместе с серверными метриками.
  • Параметры, которые искажают результат — один бенчмарк показывал на 20% больше пропускной способности из-за температуры 0 вместо привычных около 0,7. Один и тот же датасет разные инструменты обрабатывают по-разному и получают разное число входных токенов.
  • Повторяемые сценарии — декларативная конфигурация и каталог сценариев нагрузки (многоходовые диалоги, агентная генерация кода, пакетная суммаризация) позволяют повторить тот же прогон и сравнить результаты между инструментами.

Кому полезно: тем, кто замеряет производительность inference-стека под продакшен-нагрузкой и не может воспроизвести цифры из чужих бенчмарков.

Статья по теме

Главы

Похожие доклады