· AI Engineer World's Fair 2024
Вычисления и проектирование систем для передовых моделей следующего поколения
Compute & System Design for Next Generation Frontier Models
Запуск фронтирных моделей упирается в два разных типа нагрузки: prefill требует вычислений, decode требует пропускной способности памяти, поэтому их выгодно разносить по разным ускорителям.
- Разделение prefill и decode — при большом трафике одну группу ускорителей отдают под prefill, другую под decode, вместо копирования модели целиком. Тяжёлый запрос одного клиента меньше бьёт по времени до первого токена у остальных.
- Стоимость входа в документных задачах — в API входные токены стоят в три-четыре раза дешевле выходных, но при длинном документе и коротком ответе почти вся стоимость уходит на prefill.
- Context caching — KV cache длинного контекста хранят в памяти CPU или на диске и не пересчитывают при каждом запросе. Google предлагает это для Gemini 1.5 Pro, а vLLM, по словам спикера, работает над такой же возможностью.
- Continuous batching — запрос в облаке без общего батча, по оценке спикера, обходится в 10 раз дороже, поэтому новые запросы нужно подмешивать в работающий батч по мере прихода.
Кому полезно: тем, кто запускает открытые модели вроде Llama 405B на своей инфраструктуре или строит обработку больших документов через API.
Статья по теме
Главы
Ещё доклады: Dylan Patel
Страница спикера →Геополитика инфраструктуры ИИ
AI Engineer World's Fair 2025
Похожие доклады
Как сделать открытые модели в 10 раз быстрее и лучше для современных приложений
Dmytro (Dima) Dzhulgakov, Lin Qiao
AI Engineer World's Fair 2024
Близко по содержанию
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию
Frontier AI у вас дома (буквально)
AI Engineer Europe 2026
Близко по содержанию

