· AI Engineer World's Fair 2026
Вертикальная мобильность: инференс от MVP до нагрузок с триллионом параметров
Vertical Mobility: Inference from MVP to Trillion-Parameter Workloads — Sitanshu Gupta, CoreWeave
Единая инференс-платформа CoreWeave обслуживает serverless, выделенные развёртывания и batch на общем железе, а главный рычаг экономики здесь — переиспользование KV cache.
- KV cache-aware роутинг — роутер сначала выбирает узел, где уже лежит нужный KV cache, и только потом наименее загруженный. По словам спикера, в agentic-нагрузках от 80 до 90% входных токенов совпадает между запросами, поэтому prefill не пересчитывается.
- Выгрузка KV cache в хранилище — кэш диалога сохраняется в хранилище с высокой пропускной способностью и загружается обратно в HBM при следующем ходе пользователя. Спикер упоминает LMCache и Mooncake как похожие подходы.
- Batch на том же пуле GPU — выделенная мощность днём работает на real-time трафике, а вечером по расписанию через API масштабируется вниз и забирает batch-задачи до утра.
- Speculators под данные клиента — драфт-модели обучаются асинхронно на датасете клиента ради более длинного acceptance length. Вместе с квантованием в NVFP4 это, по словам автора, дало скорость на GLM, близкую к Fireworks Fast по данным OpenRouter.
Кому полезно: тем, кто выбирает между serverless, выделенными GPU и batch-обработкой для LLM-сервиса и хочет понять, где берётся выигрыш по стоимости токена.
Статья по теме
На какие вопросы отвечает доклад
Как избежать таймаутов из-за соседей по общей serverless модели?
Провизионирование пропускной способности: под известный профиль трафика клиента выделяется отдельная мощность за кулисами, оплата идёт по токенам, а SLA по скорости и доступности сохраняются.
▶ 1:12Serverless и dedicatedКак маршрутизировать запросы агентов, чтобы переиспользовать KV cache?
Router сначала выбирает реплику с локальностью KV cache, и только потом fallback на наименее загруженную. По словам спикера, 80–90% входа агентных запросов совпадает между ними, поэтому prefill не пересчитывается.
▶ 5:12Стек платформы и путь запросаСтоит ли разносить prefill и decode по разным GPU при инференсе LLM?
Платформа поддерживает оба варианта, и выбор зависит от сценария: prefill-decode disaggregation включают там, где она оправдана, потому что для каждого случая она не дешёва.
▶ 5:12Стек платформы и путь запросаКак не пересчитывать prefill длинной истории в чате после паузы пользователя?
KV cache выгружается в high bandwidth storage, например с LMCache или Mooncake, и при следующем запросе загружается обратно в HBM, а не пересчитывается заново.
▶ 11:05KV cache: переиспользование и выгрузкаКак на одних и тех же выделенных GPU совмещать дневной real-time трафик и ночные batch-задачи?
Через API расписания: в дневное время capacity обслуживает real-time нагрузку, вечером и ночью клиент уменьшает масштаб и освобождает её под batch-обработку.
▶ 5:12Стек платформы и путь запросаКакие требования к латентности у агентов, чата, голоса и batch-задач?
Агенты и чат требуют высокой пропускной способности, но у агентов важна низкая задержка между ходами. Голос и видео чувствительны к задержке стриминга, batch работает с секундами и часами.
▶ 3:20Профили нагрузок и их требования
Главы
Похожие доклады
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию
Хватит гадать с настройками vLLM: бенчмаркинг LLM на Runpod
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию

