· AI Engineer World's Fair 2024
Как сделать открытые модели в 10 раз быстрее и лучше для современных приложений
Making Open Models 10x faster and better for Modern Application Innovation
Небольшая открытая модель, дообученная под узкую задачу, по словам спикера, не уступает большой по качеству и работает в разы быстрее и дешевле.
- Function calling на дообученных моделях — по внешнему бенчмарку из Berkeley, дообученная Llama 3 показывает сопоставимый результат при скорости примерно в 10 раз выше большой модели. Открытая модель FireFunction умеет совмещать свободный чат с вызовом внешних инструментов.
- Длинные промпты в RAG — для повторяющихся длинных контекстов спикер советует кэширование и настройку рантайма и деплоя. По его словам, платформа Fireworks оказалась самой быстрой на long prompt в бенчмарке Artificial Analysis.
- Throughput при заданной задержке — если зафиксировать задержку, например два секунды на интерактивный сценарий, подбор настроек стека даёт в несколько раз больше токенов в секунду. Это значит меньше GPU и ниже стоимость.
- Тысячи LoRA на одной GPU — несколько LoRA-адаптеров можно раздавать с одной видеокарты и оплачивать по токенам, без фиксированной платы за каждую модель.
Кому полезно: тем, кто строит агентные системы или RAG на открытых моделях и упирается в задержку и стоимость инференса.
Статья по теме
Главы
Ещё доклады: Dmytro (Dima) Dzhulgakov
Страница спикера →Настраиваемый production-инференс open source-моделей
AI Engineer World's Fair 2024
Похожие доклады
20 дней вычислений против 7 часов: переосмысливая понятие state-of-the-art
AI Engineer Europe 2026
Близко по содержанию
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию

