· AI Engineer World's Fair 2025
Luminal — компиляторы глубокого обучения с поиском оптимизаций
Luminal - Search-Based Deep Learning Compilers - Joe Fioti
Luminal строит ML-компилятор на 12 примитивных операциях и поиске по эквивалентным GPU-ядрам, и по словам автора поиск сам находит FlashAttention.
- Двенадцать примитивов — модели от языковых до диффузионных собираются из 12 операций, а вычитание, деление, matmul и свёртка выражаются через них с помощью манипуляций метаданными формы тензора.
- Почти всё статично — в трансформере динамичны только длина последовательности и KV cache, поэтому граф модели можно задать заранее как направленный ациклический граф.
- Поиск вместо рукописных правил — 20–25 правил переписывания дают логически эквивалентные варианты ядра в
egglog, их время замеряется, и выбирается самый быстрый; по словам автора, так найден FlashAttention. - Слияние и переиспользование буферов — цепочку операций можно слить в одно ядро, экономя обращения к памяти, которые, по словам спикера, занимают около 99% времени и энергии; буферы, не живущие одновременно, используют одну и ту же память.
Кому полезно: тем, кто делает компилятор под новое железо или хочет понять, как поиск может заменить ручные оптимизации ядер.
Статья по теме
Главы
Похожие доклады
Запуск LLM локально: практическая производительность на DGX Spark
AI Engineer Europe 2026
Близко по содержанию
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию

