← Каталог

· AI Engineer World's Fair 2024

Как сделать открытые модели в 10 раз быстрее и лучше для современных приложений

Making Open Models 10x faster and better for Modern Application Innovation

Небольшая открытая модель, дообученная под узкую задачу, по словам спикера, не уступает большой по качеству и работает в разы быстрее и дешевле.

  • Function calling на дообученных моделях — по внешнему бенчмарку из Berkeley, дообученная Llama 3 показывает сопоставимый результат при скорости примерно в 10 раз выше большой модели. Открытая модель FireFunction умеет совмещать свободный чат с вызовом внешних инструментов.
  • Длинные промпты в RAG — для повторяющихся длинных контекстов спикер советует кэширование и настройку рантайма и деплоя. По его словам, платформа Fireworks оказалась самой быстрой на long prompt в бенчмарке Artificial Analysis.
  • Throughput при заданной задержке — если зафиксировать задержку, например два секунды на интерактивный сценарий, подбор настроек стека даёт в несколько раз больше токенов в секунду. Это значит меньше GPU и ниже стоимость.
  • Тысячи LoRA на одной GPU — несколько LoRA-адаптеров можно раздавать с одной видеокарты и оплачивать по токенам, без фиксированной платы за каждую модель.

Кому полезно: тем, кто строит агентные системы или RAG на открытых моделях и упирается в задержку и стоимость инференса.

Статья по теме

Главы

Ещё доклады: Dmytro (Dima) Dzhulgakov

Страница спикера →

Похожие доклады