· AI Engineer World's Fair 2026
Могут ли LLM писать быстрые multi-GPU kernels?
Can LLMs Write Fast Multi-GPU Kernels? — Simran Arora, Together AI
Лучшие модели, по словам авторов, решают лишь 28 из 87 задач по multi-GPU kernels, а число попыток почти не повышает скорость решений.
- Коммуникация стала узким местом — с 2020 по 2024 год BF16 tensor core ускорились в 7,2 раза, а внутриузловая связь только в 3 раза, поэтому сеть всё чаще определяет время обучения и инференса.
- Механизм передачи зависит от размера сообщения — copy engine даёт пропускную способность на больших блоках, а инструкции уровня регистров и TMA насыщают NVLink на мелких; при этом TMA не умеет редукции в сети NVSwitch.
- Модели берут типовые паттерны — успешные решения сводятся к коллективным операциям, tensor-parallel GEMM и context parallelism, а TMA и регистровые инструкции модели часто не используют.
- Агентный цикл помогает частично — bash-агент на Gemini 3 Pro поднял число верных решений с 24 до 35, но рост скорости тоже упёрся в плато.
Кому полезно: тем, кто пишет распределённые kernels для обучения или инференса на нескольких GPU и думает, можно ли доверить такие ядра LLM.
Статья по теме
Главы
Похожие доклады
Запуск LLM локально: практическая производительность на DGX Spark
AI Engineer Europe 2026
Близко по содержанию
Coding agent должен заниматься инженерией AI-систем
AI Engineer Europe 2026
Близко по содержанию
Тот же GPU — на 50% больше результата: почему важен оператор
Близко по содержанию
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Близко по содержанию

