Свой ИИ-провайдер: хобби или бизнес?
Свой ИИ-провайдер: хобби или бизнес? Валера Ковальский - NeuralDeep
Локальный inference для тысяч пользователей держится на простых вещах: стабильном prefix cache, маршрутизации с учётом кэша и защите от зацикливания, а не на экзотическом железе.
- Порядок промпта — статика (системный промпт, описания инструментов) должна идти в начале, а динамика вроде user ID или таймстемпа в конце. Иначе кэш не срабатывает, и, по словам автора, многие компании этого не учитывают даже при промптах на 30 тысяч токенов.
- Кэш-роутинг вместо раунд-робина — запросы направляются на воркер с похожим префиксом, а не по кругу на холодные карточки. Для распределения нагрузки между воркерами автор использует гибридную формулу в vLLM router.
- Защита от зацикливания — для малых моделей запросы переводятся в стриминг, и повторы ищутся по чанкам. Зациклившийся запрос может занимать слот до 32 тысяч токенов, то есть около 10 минут на одной карточке.
- Квантование и спекулятивный декодинг — по словам автора, NVFP4 на RTX Pro 6000 с 96 ГБ позволяет держать около 10 параллельных запросов на модели 27B. Спекулятивный декодинг, по его опыту, ломает tool calling и окупается только при одном потоке.
Кому полезно: тем, кто поднимает собственный inference для команды или клиентов и видит, что счёт за prefill растёт быстрее трафика.
Статья по теме
Главы
Похожие доклады
Когда запуск собственных AI-моделей выгоднее оплаты API
Близко по содержанию
Как подготовить проект и окружение к агентной разработке
Agentic Dev Conf 2026
Близко по содержанию
BAAI Conference 2026 · 北京智源大会54:42
Эволюция мозга и AI: world models, непрерывное обучение и понимание человека
BAAI Conference 2026 · 北京智源大会
Близко по содержанию
Для чего вообще используют open models?
AI Engineer Summit 2025
Близко по содержанию

