← Каталог

· AI Engineer World's Fair 2026

Агенты, которые сами управляют своим инференсом

Agents That Own Their Inference — Du'an Lightfoot & Khaja Omer, Akamai Technologies

Инференс агентов на собственных GPU настраивают по одному параметру за раз под нагрузкой: по словам авторов, FP8 и увеличение лимита последовательностей дают заметный прирост throughput.

  • Квантизация FP8 — на модели Qwen3-4B одиночная генерация выросла с 37,5 до 53,4 токена в секунду, а агрегатный throughput при 64 параллельных запросах с 800 до 1140 токенов в секунду. При росте параллелизма время до первого токена всё равно растёт.
  • Speculative decoding с малой draft-моделью — драфтер на 0,6B с четырьмя спекулятивными токенами снизил генерацию одного запроса с 58 до 16 токенов в секунду. Авторы связывают это с тем, что драфтер не был обучен под эту модель, поэтому совместимость нужно проверять до внедрения.
  • Лимит последовательностей — поднятие max-num-seqs с 32 до 128 сдвинуло точку насыщения: по словам авторов, при 64 запросах throughput около 1100 токенов в секунду против 800, а задержка около 800 миллисекунд против 2000. Сравнение между этапами неполное, так как после восстановления ноутбука модель вернулась к BF16.
  • Цикл настройки — базовый нагрузочный тест, смена одного параметра, повторный тест и проверка качества ответов вместе со скоростью, так как квантизация может ломать, например, JSON для вызовов функций.

Кому полезно: тем, кто разворачивает open-source модели для агентов на собственных GPU в Kubernetes и подбирает настройки vLLM под конкретную нагрузку.

Статья по теме

Главы

Ещё доклады: Du’An Lightfoot

Страница спикера →

Похожие доклады