Вычислительные архитектуры и базовое ПО — часть 1: FlagOS, квантовые вычисления и AI-компиляторы
Yonghua Lin, Kai Chang, Di Luo, Wei Liu, Huimin Cui, Chunlei Men, Zhi Yang
BAAI Conference 2026 · 北京智源大会
Загружаем страницу…
Inference и его оптимизация, квантизация, GPU, открытые и малые модели, выбор модели и стоимость токенов.
Доклады для тех, кто запускает модели сам. Спикеры разбирают vLLM и SGLang, маршрутизацию inference в продакшене, детективную историю отладки двух багов vLLM и то, что делает открытые модели быстрыми. Компании рассказывают, как экономят миллионы на токенах, дистиллируют большие модели в малые и внедряют новые модели в день выхода.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.

Для локального запуска есть llama.cpp и надстройки над ним: llamafile, Ollama, LM Studio, а на Mac ещё MLX. Модель выбирают под память компьютера, в квантованной версии. Скорость ответа упирается в пропускную способность памяти, поэтому большая модель на слабом железе работает, но медленно.
Yonghua Lin, Kai Chang, Di Luo, Wei Liu, Huimin Cui, Chunlei Men, Zhi Yang
BAAI Conference 2026 · 北京智源大会
Yu Wang, Kaichao You, Yulong Ao, Alex Nails, Xibin Wu, Mingxing Zhang, Zhipeng Huang, Alison Shao, Lingxiao Ma
BAAI Conference 2026 · 北京智源大会
На ноутбуке или домашнем ПК работают малые и средние открытые модели: Qwen, Gemma, Llama, Mistral, обычно в квантизованном виде через Ollama, llama.cpp или LM Studio. Для больших моделей и многих пользователей нужен сервер с GPU и движок вроде vLLM.
Инференс (inference) - запуск обученной модели для ответа на запрос. Его стоимость и скорость зависят от размера модели, длины контекста, железа и движка. Ускоряют его квантизацией, обработкой запросов пачками, кешированием префикса и speculative decoding.
Хранение весов модели с меньшей точностью, например 4 бита вместо 16. Модель занимает в несколько раз меньше памяти и работает быстрее, качество при этом падает немного. Именно квантизация позволяет запускать крупные открытые модели на обычном железе.