← Каталог

Свой ИИ-провайдер: хобби или бизнес?

Свой ИИ-провайдер: хобби или бизнес? Валера Ковальский - NeuralDeep

Локальный inference для тысяч пользователей держится на простых вещах: стабильном prefix cache, маршрутизации с учётом кэша и защите от зацикливания, а не на экзотическом железе.

  • Порядок промпта — статика (системный промпт, описания инструментов) должна идти в начале, а динамика вроде user ID или таймстемпа в конце. Иначе кэш не срабатывает, и, по словам автора, многие компании этого не учитывают даже при промптах на 30 тысяч токенов.
  • Кэш-роутинг вместо раунд-робина — запросы направляются на воркер с похожим префиксом, а не по кругу на холодные карточки. Для распределения нагрузки между воркерами автор использует гибридную формулу в vLLM router.
  • Защита от зацикливания — для малых моделей запросы переводятся в стриминг, и повторы ищутся по чанкам. Зациклившийся запрос может занимать слот до 32 тысяч токенов, то есть около 10 минут на одной карточке.
  • Квантование и спекулятивный декодинг — по словам автора, NVFP4 на RTX Pro 6000 с 96 ГБ позволяет держать около 10 параллельных запросов на модели 27B. Спекулятивный декодинг, по его опыту, ломает tool calling и окупается только при одном потоке.

Кому полезно: тем, кто поднимает собственный inference для команды или клиентов и видит, что счёт за prefill растёт быстрее трафика.

Статья по теме

Главы

Похожие доклады