· AI Engineer World's Fair 2026
Агенты, которые сами управляют своим инференсом
Agents That Own Their Inference — Du'an Lightfoot & Khaja Omer, Akamai Technologies
Инференс агентов на собственных GPU настраивают по одному параметру за раз под нагрузкой: по словам авторов, FP8 и увеличение лимита последовательностей дают заметный прирост throughput.
- Квантизация FP8 — на модели Qwen3-4B одиночная генерация выросла с 37,5 до 53,4 токена в секунду, а агрегатный throughput при 64 параллельных запросах с 800 до 1140 токенов в секунду. При росте параллелизма время до первого токена всё равно растёт.
- Speculative decoding с малой draft-моделью — драфтер на 0,6B с четырьмя спекулятивными токенами снизил генерацию одного запроса с 58 до 16 токенов в секунду. Авторы связывают это с тем, что драфтер не был обучен под эту модель, поэтому совместимость нужно проверять до внедрения.
- Лимит последовательностей — поднятие
max-num-seqsс 32 до 128 сдвинуло точку насыщения: по словам авторов, при 64 запросах throughput около 1100 токенов в секунду против 800, а задержка около 800 миллисекунд против 2000. Сравнение между этапами неполное, так как после восстановления ноутбука модель вернулась к BF16. - Цикл настройки — базовый нагрузочный тест, смена одного параметра, повторный тест и проверка качества ответов вместе со скоростью, так как квантизация может ломать, например, JSON для вызовов функций.
Кому полезно: тем, кто разворачивает open-source модели для агентов на собственных GPU в Kubernetes и подбирает настройки vLLM под конкретную нагрузку.
Статья по теме
Главы
Ещё доклады: Du’An Lightfoot
Страница спикера →Создание agents с Amazon Nova Act и MCP
Du’An Lightfoot, Banjo Obayomi
AI Engineer World's Fair 2025
Похожие доклады
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию
Практикум по оптимизации качества LLM
Pedro Torruella, Thierry Moreau
AI Engineer World's Fair 2024
Близко по содержанию
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию
Стоит ли использовать speculative decoding? Профилирование vLLM на NVIDIA Blackwell
AI Engineer World's Fair 2026
Близко по содержанию


