Запускаем LLM локально
Harnessing the Power of LLMs Locally
llm.rs — Rust-библиотека для локального инференса, которую можно встроить в своё приложение и настроить на каждом шаге генерации.
- Деплой без Python — Rust даёт самодостаточные бинарники для Windows, Linux и macOS, поэтому пользователям не нужно ставить Torch и разбираться с conda и pip.
- Один интерфейс для архитектур — Llama и Falcon вызываются одним API, а функция генерации оказывается обычным циклом, который можно заменить своей логикой выборки токенов.
- Небольшая модель вместо API на миллионах запросов — автор дообучил модель в Axolotl на датасете дат из Википедии, размеченном GPT-3 и исправленном вручную; по его словам, GPT-3 и 4 даже с промпт-инжинирингом были дорогими и медленными для такого объёма.
- Железо и память — Llama 7B на CPU MacBook работает приемлемо, GPU ускоряет, на NVIDIA быстрее, поддержка AMD и Intel пока в планах; каждая сессия занимает память, и их число стоит ограничивать.
Кому полезно: тем, кто хочет встроить локальные модели в desktop-приложение на Rust или выкатывать их без Python-окружения.
Доклад цитируется в статьях
Главы
Похожие доклады
Компиляторы в эпоху LLM
AI Engineer Code 2025
Близко по содержанию
Результаты frontier-уровня на устройстве
AI Engineer World's Fair 2026
Близко по содержанию
От весов модели до API-эндпоинта с TensorRT-LLM
AI Engineer World's Fair 2024
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
