· AI Engineer World's Fair 2024
Создание корпоративных приложений генеративного ИИ на Llama-3 со скоростью 1 000 токенов/с на платформе SambaNova
Build enterprise generative AI apps using Llama-3 at 1,000 tokens/s on the SambaNova AI platform
- Rachelle MatternSambaNova Systems
Petro Junior MilanSambaNova Systems
Varun Badrinath KrishnaSambaNova Systems
RAG-система ответов по PDF на Llama 3 собирается из открытых библиотек за несколько шагов и, по словам авторов, работает на 1000 токенов в секунду.
- Размер чанка и перекрытие — для 15-страничного PDF при размере чанка 1200 и перекрытии 240 получилось 89 фрагментов; оба параметра задаются в конфиге как гиперпараметры.
- Загрузчик под таблицы — PyPDF смог извлечь значение из таблицы с операционной интенсивностью, но для сложных таблиц спикер советует Unstructured.
- Эмбеддинги на CPU или на RDU — модель E5-large-v2 переключается между локальным запуском и аппаратурой SambaNova через config.yaml; при размере батча 32 индексация, по словам спикера, заняла около четырёх секунд.
- Служебные теги для открытых моделей — Llama 3 без специальных токенов из карточки модели от Meta отвечает лишним текстом, поэтому промпт нужно оборачивать в её теги.
Кому полезно: тем, кто строит RAG по PDF на открытых моделях и хочет повторить пайплайн на LangChain и ChromaDB; учтите, что большая часть доклада — презентация платформы SambaNova.
Статья по теме
Главы
Ещё доклады: Rachelle Mattern
Страница спикера →Llama 3 со скоростью 1000 токенов/с на AI-платформе SambaNova
Rachelle Mattern, Petro Milan, Varun Krishna
AI Engineer World's Fair 2024
Похожие доклады
Как создавать AI agents для автоматизации интеллектуальной работы
AI Engineer World's Fair 2025
Близко по содержанию
RAG для руководителей AI-направлений
AI Engineer World's Fair 2024
Близко по содержанию
Запуск Gemma 4 на iPhone: 40 токенов/с с MLX
AI Engineer Europe 2026
Близко по содержанию
