← Каталог

· AI Engineer World's Fair 2026

Могут ли LLM писать быстрые multi-GPU kernels?

Can LLMs Write Fast Multi-GPU Kernels? — Simran Arora, Together AI

Лучшие модели, по словам авторов, решают лишь 28 из 87 задач по multi-GPU kernels, а число попыток почти не повышает скорость решений.

  • Коммуникация стала узким местом — с 2020 по 2024 год BF16 tensor core ускорились в 7,2 раза, а внутриузловая связь только в 3 раза, поэтому сеть всё чаще определяет время обучения и инференса.
  • Механизм передачи зависит от размера сообщения — copy engine даёт пропускную способность на больших блоках, а инструкции уровня регистров и TMA насыщают NVLink на мелких; при этом TMA не умеет редукции в сети NVSwitch.
  • Модели берут типовые паттерны — успешные решения сводятся к коллективным операциям, tensor-parallel GEMM и context parallelism, а TMA и регистровые инструкции модели часто не используют.
  • Агентный цикл помогает частично — bash-агент на Gemini 3 Pro поднял число верных решений с 24 до 35, но рост скорости тоже упёрся в плато.

Кому полезно: тем, кто пишет распределённые kernels для обучения или инференса на нескольких GPU и думает, можно ли доверить такие ядра LLM.

Статья по теме

Главы

Похожие доклады