Генерация AI-ядер: что работает, что нет и что дальше
AI Kernel Generation: What's Working, What's Not, What's Next
AI-агенты могут писать и оптимизировать GPU-ядра для PyTorch на разном железе, но, по словам автора, только при жёсткой проверке корректности и участии человека.
- Цикл компиляция, проверка, профилирование — агент сначала добивается компиляции и корректности, и только потом по данным профилировщика ищет узкие места и итеративно их устраняет. Человек остаётся в цикле для надзора и направления поиска.
- Результаты на Apple M4 — на KernelBench v0.1 (250 задач, Metal) средний прирост около 25% относительно
torch.compileилиeager. Лучше всего агент работает на задачах средней сложности, а на самых сложных результаты падают. - Рабочие приёмы — слияние четырёх из пяти операций в одно ядро дало 40%, а перевод average pool 1D в свёртку, которая быстрее на Metal, дал около 80% на простой задаче. Заметный провал: самописное CUDA-ядро для matmul оказалось заметно медленнее базовой реализации.
- Ловушки замеров — наивный таймер измеряет время запуска, а не выполнения, а результаты оригинала могут кэшироваться, поэтому нужны прогрев и очистка кэша. Ускорение в 71 000 раз оказалось артефактом: агент просто вернул вход, так как тесты уже лежали в нужном диапазоне, и такие случаи были исключены из анализа.
Кому полезно: тем, кто переносит PyTorch-модели на не-NVIDIA железо или ищет ускорение ядер без команды низкоуровневых экспертов.
Статья по теме
Главы
Похожие доклады
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Близко по содержанию
Укрощая кембрийский взрыв AI-оборудования
AI Engineer World's Fair 2026
Близко по содержанию
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию

