Как по-настоящему оптимизировать расход токенов и сэкономить миллионы
AI Engineer NYC 2026 Online Talks
Загружаем страницу…
1–24 из 197
Inference и его оптимизация, квантизация, GPU, открытые и малые модели, выбор модели и стоимость токенов.
Доклады для тех, кто запускает модели сам. Спикеры разбирают vLLM и SGLang, маршрутизацию inference в продакшене, детективную историю отладки двух багов vLLM и то, что делает открытые модели быстрыми. Компании рассказывают, как экономят миллионы на токенах, дистиллируют большие модели в малые и внедряют новые модели в день выхода.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.

Для локального запуска есть llama.cpp и надстройки над ним: llamafile, Ollama, LM Studio, а на Mac ещё MLX. Модель выбирают под память компьютера, в квантованной версии. Скорость ответа упирается в пропускную способность памяти, поэтому большая модель на слабом железе работает, но медленно.
AI Engineer NYC 2026 Online Talks
AI Engineer World's Fair 2026
AI Engineer Code 2026
Yonghua Lin, Kai Chang, Di Luo, Wei Liu, Huimin Cui, Chunlei Men, Zhi Yang
BAAI Conference 2026 · 北京智源大会
AI Engineer World's Fair 2026
AI Engineer Code 2025
AI Engineer Europe 2026
AI Engineer World's Fair 2026
Rohan Pandey, Balaji Varadarajan
AI Engineer Code 2026
AI Engineer Europe 2026
AI Engineer World's Fair 2025
Сергей Нотевский, Артём Вишня, Валера Ковальский
AI Engineer World's Fair 2026
AI Engineer World's Fair 2024
AI Engineer Code 2025
AI Engineer World's Fair 2025
AI Engineer Europe 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2024
AI Engineer World's Fair 2025
AI Engineer Code 2025
На ноутбуке или домашнем ПК работают малые и средние открытые модели: Qwen, Gemma, Llama, Mistral, обычно в квантизованном виде через Ollama, llama.cpp или LM Studio. Для больших моделей и многих пользователей нужен сервер с GPU и движок вроде vLLM.
Инференс (inference) - запуск обученной модели для ответа на запрос. Его стоимость и скорость зависят от размера модели, длины контекста, железа и движка. Ускоряют его квантизацией, обработкой запросов пачками, кешированием префикса и speculative decoding.
Хранение весов модели с меньшей точностью, например 4 бита вместо 16. Модель занимает в несколько раз меньше памяти и работает быстрее, качество при этом падает немного. Именно квантизация позволяет запускать крупные открытые модели на обычном железе.