← Каталог

· AI Engineer Code 2026

Твоей self-hosted LLM нужно уметь говорить «нет»

Your Self-Hosted LLM Needs to Say No - Harshul Jain & Parv Khatri, Audible & SAP

Self-hosted LLM нужен admission control на входе: он отказывает запросам до того, как они займут память GPU.

  • Три ответа вместо очереди — 200 принимает запрос и держит KV cache до конца генерации, 503 с Retry-After откладывает, 429 и 529 отклоняют: первый для одного клиента, второй при перегрузке всего пула. Клиенту стоит ждать по Retry-After со случайной задержкой, а не ретраить сразу.
  • Считать стоимость, а не количество — счётчик запросов в gateway не видит длину промпта и занятую память, поэтому политика смотрит на состояние движка и дедлайны. Допуск лучше делать по сессии: агенты для кодинга шлют десятки вызовов за пару секунд.
  • Goodput с учётом отклонённых — в знаменателе должны быть все пришедшие запросы, иначе отказ 95% трафика выглядит как 100% попадания в SLO.
  • Сигнал должен быть виден — на маленькой модели KV cache почти не заполнялся, вся нагрузка уходила в очередь, и политика по KV cache пропустила бы всё. Открытый AdmitPerf падает на старте, если движок не отдаёт нужный сигнал.

Кому полезно: тем, кто сам разворачивает LLM на своих GPU и видит, как агенты для кодинга забивают очередь.

Статья по теме

Главы

Ещё доклады: Harshul Jain

Страница спикера →

Похожие доклады