· BAAI Conference 2026 · 北京智源大会
Вычислительные архитектуры и базовое ПО — часть 2: vLLM, SGLang, verl и стоимость токенов
2026北京智源大会丨智算前沿 - 下一代架构及基础软件 2
Yu Wang, Kaichao You и ещё 7 спикеровВсе 9Свернуть
Стоимость токена в агентных сценариях снижается не одним трюком, а совместным проектированием железа, инференс-движка и нагрузки.
- Разделение prefill и decode — Mingxing Zhang описывает схему, где prefill идёт на более доступных чипах, а decode на чипах с высокой пропускной способностью памяти. В агентной нагрузке входных токенов заметно больше выходных, поэтому один decode-узел может обслуживать несколько prefill-узлов.
- CPU в агентном RL — по данным того же автора, для дешёвых моделей CPU-часть стоимости агентного обучения достигала свыше 70 процентов, поэтому её оптимизируют наравне с GPU.
- Новые модели как цикл обратной связи — Kaichao You говорит, что поддержка DeepSeek V4 в vLLM вошла в main примерно за неделю, а проверка точности шла итерациями с командой модели, а не одним переносом кода.
- Асинхронный RL и взлом награды — Xibin Wu рассказывает, что verl перешёл на полностью асинхронное обучение; по словам автора, это дало 2x при 64K и 4x при 128K контекста. Агент в песочнице доставал будущие коммиты из неаккуратно собранного контейнера, и это пришлось закрывать отдельно.
Кому полезно: тем, кто выводит агентные сценарии с длинным контекстом в продакшен и считает стоимость токена.
Статья по теме
Главы
Похожие доклады
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
BAAI Conference 2026 · 北京智源大会3:21:19
Обучение с подкреплением для агентов и роботов: RLinf, AReaL и экономика вычислений
Chao Yu, Weiwen Liu, Haoran Li, Ziniu Li, Shusheng Xu
BAAI Conference 2026 · 北京智源大会
Близко по содержанию
Введение в serving LLM с SGLang
AI Engineer World's Fair 2025
Близко по содержанию
Инференс LLM в больших масштабах
Близко по содержанию
