← Статьи

Как запустить LLM локально и какую модель выбрать?

Для локального запуска есть llama.cpp и надстройки над ним: llamafile, Ollama, LM Studio, а на Mac ещё MLX. Модель выбирают под память компьютера, в квантованной версии. Скорость ответа упирается в пропускную способность памяти, поэтому большая модель на слабом железе работает, но медленно.

Опубликовано · по материалам 6 докладов

Как запустить LLM локально и какую модель выбрать?

Зачем держать модель у себя

Mithun Hunsur, сопровождающий Rust-библиотеки llm, перечисляет доводы в пользу локальной модели. Платите вы только за своё железо, а не за каждый токен. Ответ приходит сразу, без сети. Модель можно дообучить под свою задачу. И данные никуда не уходят. Доклад 2023 года, но список с тех пор не устарел.

Stephen Hood из Mozilla добавляет, что llamafile работает даже с перерезанным сетевым кабелем: никакой аналитики, ни один байт не покидает машину. Разработчик MLX-VLM предлагает перенести на Mac часть работы, за которую вы платите по подписке, и платить только за электричество. У него и личная причина: его отец потерял зрение и живёт в Африке, где с интернетом и подписками туго, так что облачный ассистент ему не помощник.

Чем запускать

Почти всё вокруг локальных моделей стоит на llama.cpp. По словам Hood, именно этот проект доказал, что инференс на обычном процессоре возможен. Над ним выросли инструменты попроще:

  • llamafile от Mozilla упаковывает веса и программу в один файл. Он запускается без установки на Windows, macOS и Linux и сам использует GPU, если тот есть. На Hugging Face готовые llamafile ищутся фильтром по типу файла.
  • Ollama работает с моделями в формате GGUF. Daniel Han из Unsloth показывает, как выгрузить в неё свою дообученную модель.
  • MLX - фреймворк Apple для своих чипов. По словам его разработчика, MLX-VLM служит одним из движков LM Studio, а новые открытые модели вроде Gemma 4 поддерживаются в день выхода.

Justine Tunney, ведущий разработчик llamafile, отдельно рассказывает, как они ускорили умножение матриц на CPU. По словам Hood, прирост от 30 до 500% в зависимости от процессора и модели. Цифры 2024 года и от авторов проекта.

▶ 1:40Llamafile: ИИ для всех благодаря быстрому инференсу на CPU, смотреть с 1:40

«llamafile - это один исполняемый файл, который запускается без установки практически на любой операционной системе, любой архитектуре процессора и любой архитектуре видеокарты.»

So llamafile is a single file executable that runs without any installation on pretty much every operating system, every CPU architecture, and every GPU architecture.

Justine Tunney, Stephen Hood · AI Engineer World's Fair 2024 · смотреть с 1:40
▶ 6:58Исправляем ошибки в Gemma, Llama и Phi-3, смотреть с 6:58

«шаблон чата в Ollama должен в точности совпадать с тем, что был при дообучении.»

the chat template for Ollama must be exactly the same as your fine-tune.

Daniel Han · AI Engineer World's Fair 2024 · смотреть с 6:58

Как выбрать модель под своё железо

Первый фильтр - память. Без квантования модель с миллиардами параметров в обычный компьютер не влезет. Hunsur объясняет, что квантование сжимает веса с потерями, но сохраняет большую часть способностей модели, а маленькая модель ещё и работает быстрее.

Второй фильтр - скорость. Mozhgan Kabiri Chimeh из NVIDIA замеряла модели Qwen на DGX Spark со 128 ГБ общей памяти. Влезают модели до 200 млрд параметров, но скорость определяет пропускная способность памяти, а не её объём. Модель на 14 млрд параметров в четырёхбитном NVFP4 начала отвечать в 3,4 раза быстрее той же модели без квантования.

Отсюда интерес к архитектуре MoE. На панели о локальном ИИ вспоминали, как Llama 405B запускали дома на скорости два токена в секунду, то есть бесполезно. DeepSeek V3 с MoE впервые дал приличную скорость на Mac Studio. Там же прозвучали сегодняшние ориентиры участников:

  • Телефон. Qwen 3.5 на 4 млрд параметров, которую на панели сравнили по качеству с GPT-4o. Это мнение участника, а не замер.
  • Игровые видеокарты. Qwen 3.5 и 3.6 на 27 млрд параметров на тех же RTX 3090, на которых раньше гоняли Llama 2.
  • Mac. Gemma 4 на 26 млрд параметров через MLX запускается даже на iPhone, с подкачкой весов из хранилища.

Tunney предлагает и обратный подход: поставить 512 ГБ обычной памяти по цене одной видеокарты и запускать большие модели на CPU. Отвечать они будут медленнее, зато умнее.

▶ 3:49Запускаем LLM локально, смотреть с 3:49

«Есть вопросы, которые не хочется задавать интернету. Локальная модель позволяет опозориться наедине с собой.»

There are some questions you don't want to ask the internet. Local models let you privately embarrass yourself.

Mithun Hunsur · AI Engineer Summit 2023 · смотреть с 3:49
▶ 8:35Запуск LLM локально: практическая производительность на DGX Spark, смотреть с 8:35

«Главный вывод из этих данных: объём памяти - это не то же самое, что её пропускная способность.»

A key takeaway here from this data is that memory capacity is not the same as the memory bandwidth.

Mozhgan Kabiri Chimeh · AI Engineer Europe 2026 · смотреть с 8:35
▶ 40:35Состояние дел: почему локальный ИИ и почему именно сейчас, смотреть с 40:35

«У меня всё те же 3090, на которых я запускал Llama 2 и файнтюны Dolphin, а теперь на них отлично работают Qwen 3.5 и Qwen 3.6 на 27 млрд параметров.»

I still have the same thirty-nineties that I used to run Llama two and like Dolphin fine-tunes on, and now they're running Qwen 3.5, Qwen 3.6, twenty-seven billion parameters with excellent performance.

Ahmad Osman, Alex Cheema, Nader Khalil, Joseph Nelson, Matthew Berman · AI Engineer World's Fair 2026 · смотреть с 40:35
▶ 14:07Llamafile: ИИ для всех благодаря быстрому инференсу на CPU, смотреть с 14:07

«По цене одной видеокарты я поставил в рабочую станцию 512 гигабайт, и теперь могу запускать все выходящие передовые модели, просто ждать приходится чуть дольше»

For the price of a graphics card, I put 512 gigs in my workstation, and that means I can run all the frontier models coming out, and I just have to wait a little longer

Justine Tunney, Stephen Hood · AI Engineer World's Fair 2024 · смотреть с 14:07

Что ломается чаще всего

Модель запустилась, но отвечает странно или не может остановиться. Han нашёл ряд таких ошибок в Gemma, Llama 3 и Phi-3. Чаще всего виноват шаблон чата. Лишний токен начала строки (BOS) или чужой шаблон портят ответы. Шаблон в Ollama должен совпадать с тем, на котором модель обучали. Сейчас llama.cpp предупреждает о двойном BOS: если видите это предупреждение, не пропускайте его.

Насколько этому можно верить

Почти все цифры здесь дают авторы инструментов: Mozilla о llamafile, NVIDIA о своём железе, разработчик MLX о MLX. Доклады 2023-2024 годов описывают другое поколение моделей. Названия лучших моделей меняются каждые несколько месяцев, поэтому смотрите на принципы: объём памяти, квантование, пропускная способность.

Eugene Cheah из Featherless замечает, что компании годами держат в продакшене одну открытую модель, потому что она не изменится без их ведома. Модель на вашем диске не обновится сама.

▶ 3:17Для чего вообще используют open models?, смотреть с 3:17

«На деле большинству разработчиков нужна предсказуемость. Они хотят менять модель, когда решили сами, а не когда провайдер решил выкатить обновление.»

In reality, most developers want consistency. They want to only change their model when they choose to do so or opt in to do so, not when their provider decided to do an update.

Eugene Cheah · AI Engineer Summit 2025 · смотреть с 3:17