← Каталог

Маршрутизация инференса LLM в production: от сигналов движка к политике

Routing LLM Inference in Production: From Engine Signals to Policy — Qianru Lao & Lu Zhang, OpenAI

Балансировщик инференса OpenAI заменил петлю обратной связи явной политикой: control plane считает веса маршрутизации по глобальной картине, а data plane выбирает движок локально.

  • Проблемы петли обратной связи — веса зависели от отклонения каждого движка от среднего по флоту, поэтому трафик перекидывался между движками туда-сюда, ломал использование KV cache, а объяснить конкретное решение маршрутизатора было трудно.
  • Разделение control и data plane — data plane выбирает движок по локальному снимку весов без запроса к control plane на каждый запрос, а control plane асинхронно пересчитывает веса по сигналам движков в реальном времени и сетевым задержкам.
  • Сквозная задержка вместо ближайшего движка — оптимизатор минимизирует сумму сетевой задержки и задержки на стороне движка по профилям TTFT и TBOT, поэтому часть трафика уходит в более далёкий движок, если там очередь короче.
  • Защита под нагрузкой — движки-выбросы получают сниженный вес, повторные запросы ограничены бюджетом, который ужимается при высокой загрузке, а сброс части трафика стоит последним средством.

Кому полезно: тем, кто строит маршрутизацию LLM-запросов между несколькими кластерами и регионами с учётом KV cache.

Статья по теме

Главы

Похожие доклады