← Каталог

· AI Engineer World's Fair 2026

Эксплуатация распределённых систем инференса в больших масштабах

Operating Distributed Inference Systems at Scale — Nishant Gupta & Naman Ahuja, Meta

Инференс в продакшене — это распределённая система, и её стоимость и надёжность определяются оркестрацией, а не моделью, поэтому слой control plane нужно проектировать заранее.

  • Стоимость успешной задачи — оптимизировать нужно стоимость успешно выполненной задачи, а не цену токена или запроса: повторы, сбои, сеть и простой GPU входят в неё, а цена токена лишь её часть.
  • Планировщик с учётом workflow — по словам авторов, планировщик должен учитывать минимум семь осей: тип GPU, запас HBM, состояние KV cache, загруженность весов, приоритет арендатора, контекст workflow и бюджет задержки. Если шаг три из пяти падает, ресурсы первых двух шагов теряются, поэтому решения о приёме и повторах должны знать о всём workflow.
  • Четыре квадранта оптимизаций — каждый приём относится к одному из четырёх типов: избежать работы (prefix caching, семантический кэш), разделить её (continuous batching, speculative decoding), перенести (маршрутизация на меньшую модель или регион) или отложить (admission control и очереди с дедлайнами).
  • Защита от каскадных сбоев — холодный пул после отказа GPU не принимает трафик сразу, так как KV cache нужно прогреть. Помогают circuit breakers в маршрутизации, admission control, который отклоняет запросы вместо бесконечной очереди, сброс нагрузки по глубине очереди и бюджет повторов.

Кому полезно: тем, кто эксплуатирует собственный инференс на парке GPU и видит, что сбои и очереди растут лавиной.

Статья по теме

Главы

Ещё доклады: Nishant Gupta

Страница спикера →

Похожие доклады