← Каталог

· AI Engineer Summit 2023

Запускаем LLM локально

Harnessing the Power of LLMs Locally

llm.rs — Rust-библиотека для локального инференса, которую можно встроить в своё приложение и настроить на каждом шаге генерации.

  • Деплой без Python — Rust даёт самодостаточные бинарники для Windows, Linux и macOS, поэтому пользователям не нужно ставить Torch и разбираться с conda и pip.
  • Один интерфейс для архитектур — Llama и Falcon вызываются одним API, а функция генерации оказывается обычным циклом, который можно заменить своей логикой выборки токенов.
  • Небольшая модель вместо API на миллионах запросов — автор дообучил модель в Axolotl на датасете дат из Википедии, размеченном GPT-3 и исправленном вручную; по его словам, GPT-3 и 4 даже с промпт-инжинирингом были дорогими и медленными для такого объёма.
  • Железо и память — Llama 7B на CPU MacBook работает приемлемо, GPU ускоряет, на NVIDIA быстрее, поддержка AMD и Intel пока в планах; каждая сессия занимает память, и их число стоит ограничивать.

Кому полезно: тем, кто хочет встроить локальные модели в desktop-приложение на Rust или выкатывать их без Python-окружения.

Доклад цитируется в статьях

Главы

Похожие доклады