← Каталог

· AI Engineer World's Fair 2024

Создание корпоративных приложений генеративного ИИ на Llama-3 со скоростью 1 000 токенов/с на платформе SambaNova

Build enterprise generative AI apps using Llama-3 at 1,000 tokens/s on the SambaNova AI platform

RAG-система ответов по PDF на Llama 3 собирается из открытых библиотек за несколько шагов и, по словам авторов, работает на 1000 токенов в секунду.

  • Размер чанка и перекрытие — для 15-страничного PDF при размере чанка 1200 и перекрытии 240 получилось 89 фрагментов; оба параметра задаются в конфиге как гиперпараметры.
  • Загрузчик под таблицы — PyPDF смог извлечь значение из таблицы с операционной интенсивностью, но для сложных таблиц спикер советует Unstructured.
  • Эмбеддинги на CPU или на RDU — модель E5-large-v2 переключается между локальным запуском и аппаратурой SambaNova через config.yaml; при размере батча 32 индексация, по словам спикера, заняла около четырёх секунд.
  • Служебные теги для открытых моделей — Llama 3 без специальных токенов из карточки модели от Meta отвечает лишним текстом, поэтому промпт нужно оборачивать в её теги.

Кому полезно: тем, кто строит RAG по PDF на открытых моделях и хочет повторить пайплайн на LangChain и ChromaDB; учтите, что большая часть доклада — презентация платформы SambaNova.

Статья по теме

Главы

Ещё доклады: Rachelle Mattern

Страница спикера →

Похожие доклады