← Каталог

· AI Engineer Code 2025

Что делает открытые модели быстрыми в production

What Makes Open Models Fast in Production — Sujee Maniyam, Nebius

Скорость open-моделей в продакшене определяется инфраструктурой инференса, и по словам авторов, роутинг с учётом KV cache, speculative decoding и раздельные пулы для prefill и decode дают заметный выигрыш.

  • Роутинг с учётом KV cache — запросы направляются на GPU, где уже лежит нужный кэш, а не распределяются случайно. По словам спикера, повторное использование кэша ускоряет инференс в 5–10 раз.
  • Выгрузка кэша в оперативную память — кэш, который не помещается в память GPU, переносится в обычную память и возвращается обратно, поэтому уже посчитанный префикс не приходится считать заново.
  • Speculative decoding с draft-моделью — маленькая модель предлагает токены, большая их проверяет. По словам авторов, draft-модель, обученная на общих данных, даёт до 30% прироста, а обученная на данных пользователя — больше.
  • Квантизация как подбор на экспериментах — точность снижается ровно настолько, насколько модель сохраняет качество, и порог авторы находят эмпирически, а не по формуле.

Кому полезно: тем, кто выводит open-модели в продакшен и решает, строить собственный инференс или брать managed-сервис. Доклад во многом презентация продукта Nebius Token Factory, но инженерная часть про оптимизации содержательная.

Статья по теме

Главы

Похожие доклады