← Каталог

· AI Engineer World's Fair 2025

Что каждому AI-инженеру нужно знать о GPU

What every AI engineer needs to know about GPUs

GPU выгодны там, где важна пропускная способность: тензорные ядра делают низкоточное матричное умножение почти бесплатным, поэтому несколько генераций от маленькой модели могут заменить большую.

  • Пропускная способность вместо задержки — по словам спикера, задержка памяти и сети улучшается намного медленнее пропускной способности, а GPU построены именно под этот сценарий: H100 держит более 16 тысяч параллельных потоков, а переключение контекста происходит на каждом такте.
  • Декодирование упирается в память — при генерации каждого токена веса модели читаются заново (для модели на 8 миллиардов параметров в FP8 это около 8 ГБ), поэтому обработка промпта использует GPU хорошо, а генерация токенов нет.
  • Дополнительные сэмплы почти бесплатны — multi-token prediction и генерация нескольких вариантов ответа превращаются в матричные операции, которые тензорные ядра выполняют без заметного штрафа.
  • Маленькая модель и верификатор — по словам спикера, Llama 3.1 8B, из многих ответов выбирающая тот, что проходит Python-тесты, может сравняться с GPT-4o; спикер воспроизвёл результат исследования на других данных и модели.

Кому полезно: тем, кто запускает открытые модели на своих GPU и выбирает между размером модели и числом генераций.

Статья по теме

Главы

Ещё доклады: Charles Frye

Все 5 докладов →

Похожие доклады