Маршрутизация инференса LLM в production: от сигналов движка к политике
Routing LLM Inference in Production: From Engine Signals to Policy — Qianru Lao & Lu Zhang, OpenAI
Балансировщик инференса OpenAI заменил петлю обратной связи явной политикой: control plane считает веса маршрутизации по глобальной картине, а data plane выбирает движок локально.
- Проблемы петли обратной связи — веса зависели от отклонения каждого движка от среднего по флоту, поэтому трафик перекидывался между движками туда-сюда, ломал использование KV cache, а объяснить конкретное решение маршрутизатора было трудно.
- Разделение control и data plane — data plane выбирает движок по локальному снимку весов без запроса к control plane на каждый запрос, а control plane асинхронно пересчитывает веса по сигналам движков в реальном времени и сетевым задержкам.
- Сквозная задержка вместо ближайшего движка — оптимизатор минимизирует сумму сетевой задержки и задержки на стороне движка по профилям TTFT и TBOT, поэтому часть трафика уходит в более далёкий движок, если там очередь короче.
- Защита под нагрузкой — движки-выбросы получают сниженный вес, повторные запросы ограничены бюджетом, который ужимается при высокой загрузке, а сброс части трафика стоит последним средством.
Кому полезно: тем, кто строит маршрутизацию LLM-запросов между несколькими кластерами и регионами с учётом KV cache.
Статья по теме
Главы
Похожие доклады
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию
Современное состояние маршрутизации моделей
Alex Atallah, Carter Abdallah, Nader Khalil, Tanay Varshney, Walden Yan
AI Engineer World's Fair 2026
Близко по содержанию
Эксплуатация распределённых систем инференса в больших масштабах
AI Engineer World's Fair 2026
Близко по содержанию
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024
Близко по содержанию


