← Каталог

· AI Engineer Code 2025

Генерация AI-ядер: что работает, что нет и что дальше

AI Kernel Generation: What's Working, What's Not, What's Next

AI-агенты могут писать и оптимизировать GPU-ядра для PyTorch на разном железе, но, по словам автора, только при жёсткой проверке корректности и участии человека.

  • Цикл компиляция, проверка, профилирование — агент сначала добивается компиляции и корректности, и только потом по данным профилировщика ищет узкие места и итеративно их устраняет. Человек остаётся в цикле для надзора и направления поиска.
  • Результаты на Apple M4 — на KernelBench v0.1 (250 задач, Metal) средний прирост около 25% относительно torch.compile или eager. Лучше всего агент работает на задачах средней сложности, а на самых сложных результаты падают.
  • Рабочие приёмы — слияние четырёх из пяти операций в одно ядро дало 40%, а перевод average pool 1D в свёртку, которая быстрее на Metal, дал около 80% на простой задаче. Заметный провал: самописное CUDA-ядро для matmul оказалось заметно медленнее базовой реализации.
  • Ловушки замеров — наивный таймер измеряет время запуска, а не выполнения, а результаты оригинала могут кэшироваться, поэтому нужны прогрев и очистка кэша. Ускорение в 71 000 раз оказалось артефактом: агент просто вернул вход, так как тесты уже лежали в нужном диапазоне, и такие случаи были исключены из анализа.

Кому полезно: тем, кто переносит PyTorch-модели на не-NVIDIA железо или ищет ускорение ядер без команды низкоуровневых экспертов.

Статья по теме

Главы

Похожие доклады