← Каталог

· AI Engineer World's Fair 2026

Вертикальная мобильность: инференс от MVP до нагрузок с триллионом параметров

Vertical Mobility: Inference from MVP to Trillion-Parameter Workloads — Sitanshu Gupta, CoreWeave

Единая инференс-платформа CoreWeave обслуживает serverless, выделенные развёртывания и batch на общем железе, а главный рычаг экономики здесь — переиспользование KV cache.

  • KV cache-aware роутинг — роутер сначала выбирает узел, где уже лежит нужный KV cache, и только потом наименее загруженный. По словам спикера, в agentic-нагрузках от 80 до 90% входных токенов совпадает между запросами, поэтому prefill не пересчитывается.
  • Выгрузка KV cache в хранилище — кэш диалога сохраняется в хранилище с высокой пропускной способностью и загружается обратно в HBM при следующем ходе пользователя. Спикер упоминает LMCache и Mooncake как похожие подходы.
  • Batch на том же пуле GPU — выделенная мощность днём работает на real-time трафике, а вечером по расписанию через API масштабируется вниз и забирает batch-задачи до утра.
  • Speculators под данные клиента — драфт-модели обучаются асинхронно на датасете клиента ради более длинного acceptance length. Вместе с квантованием в NVFP4 это, по словам автора, дало скорость на GLM, близкую к Fireworks Fast по данным OpenRouter.

Кому полезно: тем, кто выбирает между serverless, выделенными GPU и batch-обработкой для LLM-сервиса и хочет понять, где берётся выигрыш по стоимости токена.

Статья по теме

На какие вопросы отвечает доклад

  • Как избежать таймаутов из-за соседей по общей serverless модели?

    Провизионирование пропускной способности: под известный профиль трафика клиента выделяется отдельная мощность за кулисами, оплата идёт по токенам, а SLA по скорости и доступности сохраняются.

    ▶ 1:12Serverless и dedicated
  • Как маршрутизировать запросы агентов, чтобы переиспользовать KV cache?

    Router сначала выбирает реплику с локальностью KV cache, и только потом fallback на наименее загруженную. По словам спикера, 80–90% входа агентных запросов совпадает между ними, поэтому prefill не пересчитывается.

    ▶ 5:12Стек платформы и путь запроса
  • Стоит ли разносить prefill и decode по разным GPU при инференсе LLM?

    Платформа поддерживает оба варианта, и выбор зависит от сценария: prefill-decode disaggregation включают там, где она оправдана, потому что для каждого случая она не дешёва.

    ▶ 5:12Стек платформы и путь запроса
  • Как не пересчитывать prefill длинной истории в чате после паузы пользователя?

    KV cache выгружается в high bandwidth storage, например с LMCache или Mooncake, и при следующем запросе загружается обратно в HBM, а не пересчитывается заново.

    ▶ 11:05KV cache: переиспользование и выгрузка
  • Как на одних и тех же выделенных GPU совмещать дневной real-time трафик и ночные batch-задачи?

    Через API расписания: в дневное время capacity обслуживает real-time нагрузку, вечером и ночью клиент уменьшает масштаб и освобождает её под batch-обработку.

    ▶ 5:12Стек платформы и путь запроса
  • Какие требования к латентности у агентов, чата, голоса и batch-задач?

    Агенты и чат требуют высокой пропускной способности, но у агентов важна низкая задержка между ходами. Голос и видео чувствительны к задержке стриминга, batch работает с секундами и часами.

    ▶ 3:20Профили нагрузок и их требования

Главы

Похожие доклады