Что делает открытые модели быстрыми в production
What Makes Open Models Fast in Production — Sujee Maniyam, Nebius
Скорость open-моделей в продакшене определяется инфраструктурой инференса, и по словам авторов, роутинг с учётом KV cache, speculative decoding и раздельные пулы для prefill и decode дают заметный выигрыш.
- Роутинг с учётом KV cache — запросы направляются на GPU, где уже лежит нужный кэш, а не распределяются случайно. По словам спикера, повторное использование кэша ускоряет инференс в 5–10 раз.
- Выгрузка кэша в оперативную память — кэш, который не помещается в память GPU, переносится в обычную память и возвращается обратно, поэтому уже посчитанный префикс не приходится считать заново.
- Speculative decoding с draft-моделью — маленькая модель предлагает токены, большая их проверяет. По словам авторов, draft-модель, обученная на общих данных, даёт до 30% прироста, а обученная на данных пользователя — больше.
- Квантизация как подбор на экспериментах — точность снижается ровно настолько, насколько модель сохраняет качество, и порог авторы находят эмпирически, а не по формуле.
Кому полезно: тем, кто выводит open-модели в продакшен и решает, строить собственный инференс или брать managed-сервис. Доклад во многом презентация продукта Nebius Token Factory, но инженерная часть про оптимизации содержательная.
Статья по теме
Главы
Похожие доклады
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию
OpenThoughts: рецепты подготовки данных для reasoning-моделей
AI Engineer World's Fair 2025
Близко по содержанию


