· AI Engineer World's Fair 2024
Llama 3 со скоростью 1000 токенов/с на AI-платформе SambaNova
Llama 3 at 1000 tok/s on the SambaNova AI Platform
Samba-1 с 92 экспертами за одним endpoint и RDU с трёхуровневой памятью, по словам авторов, дают Llama 3 свыше 1000 токенов в секунду.
- Маршрутизация вместо одной большой модели — роутер по входящему промпту выбирает подходящего эксперта, а каждого эксперта дообучают по своему графику: в примере спикера финансовую модель обновляют раз в год, кодовую — раз в квартал. Ограничения доступа задаются на уровне моделей через RBAC.
- Память чипа как основа экономики — по словам авторов, SN40L хранит до 5 трлн параметров в DDR (до 6 ТБ) и поднимает нужные веса в HBM (512 ГБ) и SRAM (4 ГБ), поэтому сотни моделей живут в одной системе, а не в нескольких GPU-серверах.
- RAG на PDF с таблицами — в воркшопе 15-страничный PDF при размере чанка 1200 и перекрытии 240 дал 89 чанков; для сложных таблиц авторы советуют Unstructured вместо PyPDF. Большая часть доклада — презентация продукта SambaNova, полезнее всего практическая часть.
Кому полезно: тем, кто выбирает inference-инфраструктуру для нескольких дообученных моделей под одним API.
Статья по теме
Главы
Ещё доклады: Rachelle Mattern
Страница спикера →Похожие доклады
RAG для руководителей AI-направлений
AI Engineer World's Fair 2024
Близко по содержанию
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию
VoiceVision RAG: визуальный поиск по документам с голосовыми ответами
AI Engineer World's Fair 2025
Близко по содержанию


