← Каталог

· AI Engineer World's Fair 2024

Настраиваемый production-инференс open source-моделей

Customized, production ready inference with open source models: Dmytro (Dima) Dzhulgakov

Небольшие открытые модели, дообученные под узкую задачу, по словам спикера, дают качество крупных проприетарных при задержке до 10 раз ниже и меньшей цене.

  • Дообучение под function calling — дообученная Llama 3, по словам спикера, на бенчмарке Berkeley показала качество, близкое к крупной модели, при скорости около 10 раз выше. Модель Firefunction выложена открыто на Hugging Face.
  • Тысячи LoRA на одной GPU — несколько LoRA-адаптеров можно держать на одной видеокарте и платить за токены без фиксированной платы за каждую дообученную модель.
  • Настройка под задержку — при заданном пределе задержки подбор настроек рантайма и деплоя даёт, по словам авторов, в несколько раз большую пропускную способность, а значит меньше GPU.
  • Кэширование длинных промптов — для RAG с повторяющимися длинными префиксами используется кэширование; по словам спикера, на Artificial Analysis в категории long prompt платформа оказалась самой быстрой.

Кому полезно: тем, кто переносит агентные сценарии с вызовом функций или RAG с длинными промптами на открытые модели и считает стоимость инференса.

Статья по теме

Главы

Ещё доклады: Dmytro (Dima) Dzhulgakov

Страница спикера →

Похожие доклады