← Каталог

· AI Engineer World's Fair 2026

Маршрутизация с учётом KV cache и разделение prefill/decode в Kubernetes

KV Cache-Aware Routing and P/D Disaggregation on Kubernetes — Yuchen Fama & Ashish Kamra, Red Hat

Разнесение prefill и decode по разным пулам GPU даёт более ровный стриминг у агентных нагрузок, но окупается только при длинном контексте и быстрой сети между узлами.

  • Маршрутизация по KV cache — маршрутизатор llm-d выбирает под по загрузке, очереди и наличию префикса в кэше; в демо повторный ход с тем же system prompt попадал на тот же под и отвечал примерно за секунду вместо трёх у первого запроса.
  • Метрики агентного трафика — по словам авторов, в реальных агентных трассах доля попаданий в KV cache часто выше 90%, а отношение входа к выходу нередко больше 100 к 1, поэтому смотреть нужно на P90, а не на средние.
  • PD на GPT-OSS 12B — во внутреннем тесте Red Hat на 16 H100 P99 ITL снизился примерно с 900 до 100 миллисекунд и стал ровнее; по словам авторов, преимущество заметнее всего на средней конкурентности.
  • Когда разнесение не помогает — нужны длинный контекст с высоким отношением ISL к OSL и быстрая сеть вроде RDMA или RoCE для переноса KV cache; при коротком контексте, низкой конкурентности или без такой сети авторы советуют оставить агрегированный режим.

Кому полезно: тем, кто запускает агентные нагрузки на кластере из H100 или H200 и решает, стоит ли разделять prefill и decode.

Статья по теме

Главы

Похожие доклады