· AI Engineer World's Fair 2025
Что каждому AI-инженеру нужно знать о GPU
What every AI engineer needs to know about GPUs
GPU выгодны там, где важна пропускная способность: тензорные ядра делают низкоточное матричное умножение почти бесплатным, поэтому несколько генераций от маленькой модели могут заменить большую.
- Пропускная способность вместо задержки — по словам спикера, задержка памяти и сети улучшается намного медленнее пропускной способности, а GPU построены именно под этот сценарий: H100 держит более 16 тысяч параллельных потоков, а переключение контекста происходит на каждом такте.
- Декодирование упирается в память — при генерации каждого токена веса модели читаются заново (для модели на 8 миллиардов параметров в FP8 это около 8 ГБ), поэтому обработка промпта использует GPU хорошо, а генерация токенов нет.
- Дополнительные сэмплы почти бесплатны — multi-token prediction и генерация нескольких вариантов ответа превращаются в матричные операции, которые тензорные ядра выполняют без заметного штрафа.
- Маленькая модель и верификатор — по словам спикера, Llama 3.1 8B, из многих ответов выбирающая тот, что проходит Python-тесты, может сравняться с GPT-4o; спикер воспроизвёл результат исследования на других данных и модели.
Кому полезно: тем, кто запускает открытые модели на своих GPU и выбирает между размером модели и числом генераций.
Статья по теме
Главы
Ещё доклады: Charles Frye
Все 5 докладов →Что вообще такое движок инференса?
AI Engineer World's Fair 2026
Чему мы научились за год разработки с LLM
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Похожие доклады
Развёртывание GPU в облаке, не выходя из IDE
AI Engineer Europe 2026
Близко по содержанию
Как Revolut сократил расходы на AI-кодинг на 90% благодаря self-hosted открытым моделям
Близко по содержанию

