Как по-настоящему оптимизировать расход токенов и сэкономить миллионы
AI Engineer NYC 2026 Online Talks
Загружаем страницу…
Inference и его оптимизация, квантизация, GPU, открытые и малые модели, выбор модели и стоимость токенов.
Доклады для тех, кто запускает модели сам. Спикеры разбирают vLLM и SGLang, маршрутизацию inference в продакшене, детективную историю отладки двух багов vLLM и то, что делает открытые модели быстрыми. Компании рассказывают, как экономят миллионы на токенах, дистиллируют большие модели в малые и внедряют новые модели в день выхода.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.

Для локального запуска есть llama.cpp и надстройки над ним: llamafile, Ollama, LM Studio, а на Mac ещё MLX. Модель выбирают под память компьютера, в квантованной версии. Скорость ответа упирается в пропускную способность памяти, поэтому большая модель на слабом железе работает, но медленно.
AI Engineer NYC 2026 Online Talks
На ноутбуке или домашнем ПК работают малые и средние открытые модели: Qwen, Gemma, Llama, Mistral, обычно в квантизованном виде через Ollama, llama.cpp или LM Studio. Для больших моделей и многих пользователей нужен сервер с GPU и движок вроде vLLM.
Инференс (inference) - запуск обученной модели для ответа на запрос. Его стоимость и скорость зависят от размера модели, длины контекста, железа и движка. Ускоряют его квантизацией, обработкой запросов пачками, кешированием префикса и speculative decoding.
Хранение весов модели с меньшей точностью, например 4 бита вместо 16. Модель занимает в несколько раз меньше памяти и работает быстрее, качество при этом падает немного. Именно квантизация позволяет запускать крупные открытые модели на обычном железе.