· AI Engineer World's Fair 2024
Настраиваемый production-инференс open source-моделей
Customized, production ready inference with open source models: Dmytro (Dima) Dzhulgakov
Небольшие открытые модели, дообученные под узкую задачу, по словам спикера, дают качество крупных проприетарных при задержке до 10 раз ниже и меньшей цене.
- Дообучение под function calling — дообученная Llama 3, по словам спикера, на бенчмарке Berkeley показала качество, близкое к крупной модели, при скорости около 10 раз выше. Модель Firefunction выложена открыто на Hugging Face.
- Тысячи LoRA на одной GPU — несколько LoRA-адаптеров можно держать на одной видеокарте и платить за токены без фиксированной платы за каждую дообученную модель.
- Настройка под задержку — при заданном пределе задержки подбор настроек рантайма и деплоя даёт, по словам авторов, в несколько раз большую пропускную способность, а значит меньше GPU.
- Кэширование длинных промптов — для RAG с повторяющимися длинными префиксами используется кэширование; по словам спикера, на Artificial Analysis в категории long prompt платформа оказалась самой быстрой.
Кому полезно: тем, кто переносит агентные сценарии с вызовом функций или RAG с длинными промптами на открытые модели и считает стоимость инференса.
Статья по теме
Главы
Ещё доклады: Dmytro (Dima) Dzhulgakov
Страница спикера →Как сделать открытые модели в 10 раз быстрее и лучше для современных приложений
Dmytro (Dima) Dzhulgakov, Lin Qiao
AI Engineer World's Fair 2024
Похожие доклады
Зачем большие? Маленькие языковые модели и agents на периферийных устройствах и в робототехнике
AI Engineer World's Fair 2026
Близко по содержанию
Агенты, которые сами управляют своим инференсом
AI Engineer World's Fair 2026
Близко по содержанию
Инфраструктура Krea 2: обучение и обслуживание на больших масштабах
AI Engineer World's Fair 2026
Близко по содержанию
