← Каталог

· AI Engineer World's Fair 2024

Llama 3 со скоростью 1000 токенов/с на AI-платформе SambaNova

Llama 3 at 1000 tok/s on the SambaNova AI Platform

Samba-1 с 92 экспертами за одним endpoint и RDU с трёхуровневой памятью, по словам авторов, дают Llama 3 свыше 1000 токенов в секунду.

  • Маршрутизация вместо одной большой модели — роутер по входящему промпту выбирает подходящего эксперта, а каждого эксперта дообучают по своему графику: в примере спикера финансовую модель обновляют раз в год, кодовую — раз в квартал. Ограничения доступа задаются на уровне моделей через RBAC.
  • Память чипа как основа экономики — по словам авторов, SN40L хранит до 5 трлн параметров в DDR (до 6 ТБ) и поднимает нужные веса в HBM (512 ГБ) и SRAM (4 ГБ), поэтому сотни моделей живут в одной системе, а не в нескольких GPU-серверах.
  • RAG на PDF с таблицами — в воркшопе 15-страничный PDF при размере чанка 1200 и перекрытии 240 дал 89 чанков; для сложных таблиц авторы советуют Unstructured вместо PyPDF. Большая часть доклада — презентация продукта SambaNova, полезнее всего практическая часть.

Кому полезно: тем, кто выбирает inference-инфраструктуру для нескольких дообученных моделей под одним API.

Статья по теме

Главы

Ещё доклады: Rachelle Mattern

Страница спикера →

Похожие доклады