← Каталог

· AI Engineer World's Fair 2024

Вычисления и проектирование систем для передовых моделей следующего поколения

Compute & System Design for Next Generation Frontier Models

Запуск фронтирных моделей упирается в два разных типа нагрузки: prefill требует вычислений, decode требует пропускной способности памяти, поэтому их выгодно разносить по разным ускорителям.

  • Разделение prefill и decode — при большом трафике одну группу ускорителей отдают под prefill, другую под decode, вместо копирования модели целиком. Тяжёлый запрос одного клиента меньше бьёт по времени до первого токена у остальных.
  • Стоимость входа в документных задачах — в API входные токены стоят в три-четыре раза дешевле выходных, но при длинном документе и коротком ответе почти вся стоимость уходит на prefill.
  • Context caching — KV cache длинного контекста хранят в памяти CPU или на диске и не пересчитывают при каждом запросе. Google предлагает это для Gemini 1.5 Pro, а vLLM, по словам спикера, работает над такой же возможностью.
  • Continuous batching — запрос в облаке без общего батча, по оценке спикера, обходится в 10 раз дороже, поэтому новые запросы нужно подмешивать в работающий батч по мере прихода.

Кому полезно: тем, кто запускает открытые модели вроде Llama 405B на своей инфраструктуре или строит обработку больших документов через API.

Статья по теме

Главы

Ещё доклады: Dylan Patel

Страница спикера →

Похожие доклады