· AI Engineer World's Fair 2026
Эксплуатация распределённых систем инференса в больших масштабах
Operating Distributed Inference Systems at Scale — Nishant Gupta & Naman Ahuja, Meta
Инференс в продакшене — это распределённая система, и её стоимость и надёжность определяются оркестрацией, а не моделью, поэтому слой control plane нужно проектировать заранее.
- Стоимость успешной задачи — оптимизировать нужно стоимость успешно выполненной задачи, а не цену токена или запроса: повторы, сбои, сеть и простой GPU входят в неё, а цена токена лишь её часть.
- Планировщик с учётом workflow — по словам авторов, планировщик должен учитывать минимум семь осей: тип GPU, запас HBM, состояние KV cache, загруженность весов, приоритет арендатора, контекст workflow и бюджет задержки. Если шаг три из пяти падает, ресурсы первых двух шагов теряются, поэтому решения о приёме и повторах должны знать о всём workflow.
- Четыре квадранта оптимизаций — каждый приём относится к одному из четырёх типов: избежать работы (prefix caching, семантический кэш), разделить её (continuous batching, speculative decoding), перенести (маршрутизация на меньшую модель или регион) или отложить (admission control и очереди с дедлайнами).
- Защита от каскадных сбоев — холодный пул после отказа GPU не принимает трафик сразу, так как KV cache нужно прогреть. Помогают circuit breakers в маршрутизации, admission control, который отклоняет запросы вместо бесконечной очереди, сброс нагрузки по глубине очереди и бюджет повторов.
Кому полезно: тем, кто эксплуатирует собственный инференс на парке GPU и видит, что сбои и очереди растут лавиной.
Статья по теме
Главы
Ещё доклады: Nishant Gupta
Страница спикера →Production evals для агентных AI-систем
AI Engineer World's Fair 2026
Детерминированная инфраструктура для недетерминированных AI agents
AI Engineer World's Fair 2026
Похожие доклады
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024
Близко по содержанию
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию


