← Каталог

· AI Engineer World's Fair 2025

Luminal — компиляторы глубокого обучения с поиском оптимизаций

Luminal - Search-Based Deep Learning Compilers - Joe Fioti

Luminal строит ML-компилятор на 12 примитивных операциях и поиске по эквивалентным GPU-ядрам, и по словам автора поиск сам находит FlashAttention.

  • Двенадцать примитивов — модели от языковых до диффузионных собираются из 12 операций, а вычитание, деление, matmul и свёртка выражаются через них с помощью манипуляций метаданными формы тензора.
  • Почти всё статично — в трансформере динамичны только длина последовательности и KV cache, поэтому граф модели можно задать заранее как направленный ациклический граф.
  • Поиск вместо рукописных правил — 20–25 правил переписывания дают логически эквивалентные варианты ядра в egglog, их время замеряется, и выбирается самый быстрый; по словам автора, так найден FlashAttention.
  • Слияние и переиспользование буферов — цепочку операций можно слить в одно ядро, экономя обращения к памяти, которые, по словам спикера, занимают около 99% времени и энергии; буферы, не живущие одновременно, используют одну и ту же память.

Кому полезно: тем, кто делает компилятор под новое железо или хочет понять, как поиск может заменить ручные оптимизации ядер.

Статья по теме

Главы

Похожие доклады