Твоей self-hosted LLM нужно уметь говорить «нет»
Your Self-Hosted LLM Needs to Say No - Harshul Jain & Parv Khatri, Audible & SAP
Self-hosted LLM нужен admission control на входе: он отказывает запросам до того, как они займут память GPU.
- Три ответа вместо очереди —
200принимает запрос и держит KV cache до конца генерации,503сRetry-Afterоткладывает,429и529отклоняют: первый для одного клиента, второй при перегрузке всего пула. Клиенту стоит ждать поRetry-Afterсо случайной задержкой, а не ретраить сразу. - Считать стоимость, а не количество — счётчик запросов в gateway не видит длину промпта и занятую память, поэтому политика смотрит на состояние движка и дедлайны. Допуск лучше делать по сессии: агенты для кодинга шлют десятки вызовов за пару секунд.
- Goodput с учётом отклонённых — в знаменателе должны быть все пришедшие запросы, иначе отказ 95% трафика выглядит как 100% попадания в SLO.
- Сигнал должен быть виден — на маленькой модели KV cache почти не заполнялся, вся нагрузка уходила в очередь, и политика по KV cache пропустила бы всё. Открытый
AdmitPerfпадает на старте, если движок не отдаёт нужный сигнал.
Кому полезно: тем, кто сам разворачивает LLM на своих GPU и видит, как агенты для кодинга забивают очередь.
Статья по теме
Главы
Ещё доклады: Harshul Jain
Страница спикера →Похожие доклады
Что нового в инженерии инференса
AI Engineer World's Fair 2026
Близко по содержанию
Эксплуатация распределённых систем инференса в больших масштабах
AI Engineer World's Fair 2026
Близко по содержанию
Маршрутизация инференса LLM в production: от сигналов движка к политике
Близко по содержанию


