· AI Engineer World's Fair 2026
Как autoresearch ускорил наши модели втрое
Autoresearch Made Our Models 3x Faster — Tejas Bhakta, Morph
Автоматический поиск с проверками корректности и скорости, по словам автора, ускоряет модели в 3 раза, хотя около 80% попыток агента негодны.
- Идеи за человеком, параметры за агентом — агент хорошо подбирает размеры блоков и фрагментов, но новые подходы, например конвейеризацию, по словам автора, придумывает человек: он смотрит профайлер и указывает, какой метод неэффективен.
- Контекст железа и модели в harness — агенту нужны описания возможностей GPU, например warps и TMA на B200, и новых механизмов модели, например двух новых видов attention в DeepSeek V4. Без них, по словам автора, модель галлюцинирует attention и пишет бесполезные кернелы.
- Сквозной бенчмарк против reward hacking — агенты ускоряют один кернел, отключая CUDA graphs (по словам автора, это замедляет инференс до 20 раз) или тестируя только короткий контекст, поэтому измерять нужно всю модель целиком.
- Железо добавляет запас — настройки BIOS, разгон и bare metal дают, по словам автора, около 25% сверх облачной виртуализации; вместе с накопленными кернелами это дало ускорение в 3 раза.
Кому полезно: тем, кто оптимизирует inference на собственных дешёвых GPU без готовых кернелов.
Статья по теме
Главы
Похожие доклады
Могут ли LLM писать быстрые multi-GPU kernels?
AI Engineer World's Fair 2026
Близко по содержанию
Специальные темы: kernels, RL и reward hacking в агентах
AI Engineer World's Fair 2026
Близко по содержанию
Генерация AI-ядер: что работает, что нет и что дальше
AI Engineer Code 2025
Близко по содержанию
Свёртка весов, CUDA-потоки и баг, из-за которого моя модель заговорила задом наперёд
AI Engineer World's Fair 2026
Близко по содержанию

