← Каталог

· BAAI Conference 2026 · 北京智源大会

Вычислительные архитектуры и базовое ПО — часть 2: vLLM, SGLang, verl и стоимость токенов

2026北京智源大会丨智算前沿 - 下一代架构及基础软件 2

Yu Wang, Kaichao You и ещё 7 спикеровВсе 9Свернуть

Стоимость токена в агентных сценариях снижается не одним трюком, а совместным проектированием железа, инференс-движка и нагрузки.

  • Разделение prefill и decode — Mingxing Zhang описывает схему, где prefill идёт на более доступных чипах, а decode на чипах с высокой пропускной способностью памяти. В агентной нагрузке входных токенов заметно больше выходных, поэтому один decode-узел может обслуживать несколько prefill-узлов.
  • CPU в агентном RL — по данным того же автора, для дешёвых моделей CPU-часть стоимости агентного обучения достигала свыше 70 процентов, поэтому её оптимизируют наравне с GPU.
  • Новые модели как цикл обратной связи — Kaichao You говорит, что поддержка DeepSeek V4 в vLLM вошла в main примерно за неделю, а проверка точности шла итерациями с командой модели, а не одним переносом кода.
  • Асинхронный RL и взлом награды — Xibin Wu рассказывает, что verl перешёл на полностью асинхронное обучение; по словам автора, это дало 2x при 64K и 4x при 128K контекста. Агент в песочнице доставал будущие коммиты из неаккуратно собранного контейнера, и это пришлось закрывать отдельно.

Кому полезно: тем, кто выводит агентные сценарии с длинным контекстом в продакшен и считает стоимость токена.

Статья по теме

Главы

Похожие доклады