Не выкатывайте настройки LLM, которые работают только на бумаге
Rohan Pandey, Balaji Varadarajan
AI Engineer Code 2026
Загружаем страницу…
Inference и его оптимизация, квантизация, GPU, открытые и малые модели, выбор модели и стоимость токенов.
Доклады для тех, кто запускает модели сам. Спикеры разбирают vLLM и SGLang, маршрутизацию inference в продакшене, детективную историю отладки двух багов vLLM и то, что делает открытые модели быстрыми. Компании рассказывают, как экономят миллионы на токенах, дистиллируют большие модели в малые и внедряют новые модели в день выхода.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.

Для локального запуска есть llama.cpp и надстройки над ним: llamafile, Ollama, LM Studio, а на Mac ещё MLX. Модель выбирают под память компьютера, в квантованной версии. Скорость ответа упирается в пропускную способность памяти, поэтому большая модель на слабом железе работает, но медленно.
Rohan Pandey, Balaji Varadarajan
AI Engineer Code 2026
AI Engineer Code 2026
На ноутбуке или домашнем ПК работают малые и средние открытые модели: Qwen, Gemma, Llama, Mistral, обычно в квантизованном виде через Ollama, llama.cpp или LM Studio. Для больших моделей и многих пользователей нужен сервер с GPU и движок вроде vLLM.
Инференс (inference) - запуск обученной модели для ответа на запрос. Его стоимость и скорость зависят от размера модели, длины контекста, железа и движка. Ускоряют его квантизацией, обработкой запросов пачками, кешированием префикса и speculative decoding.
Хранение весов модели с меньшей точностью, например 4 бита вместо 16. Модель занимает в несколько раз меньше памяти и работает быстрее, качество при этом падает немного. Именно квантизация позволяет запускать крупные открытые модели на обычном железе.