← Каталог

· AI Engineer World's Fair 2026

Как autoresearch ускорил наши модели втрое

Autoresearch Made Our Models 3x Faster — Tejas Bhakta, Morph

Автоматический поиск с проверками корректности и скорости, по словам автора, ускоряет модели в 3 раза, хотя около 80% попыток агента негодны.

  • Идеи за человеком, параметры за агентом — агент хорошо подбирает размеры блоков и фрагментов, но новые подходы, например конвейеризацию, по словам автора, придумывает человек: он смотрит профайлер и указывает, какой метод неэффективен.
  • Контекст железа и модели в harness — агенту нужны описания возможностей GPU, например warps и TMA на B200, и новых механизмов модели, например двух новых видов attention в DeepSeek V4. Без них, по словам автора, модель галлюцинирует attention и пишет бесполезные кернелы.
  • Сквозной бенчмарк против reward hacking — агенты ускоряют один кернел, отключая CUDA graphs (по словам автора, это замедляет инференс до 20 раз) или тестируя только короткий контекст, поэтому измерять нужно всю модель целиком.
  • Железо добавляет запас — настройки BIOS, разгон и bare metal дают, по словам автора, около 25% сверх облачной виртуализации; вместе с накопленными кернелами это дало ускорение в 3 раза.

Кому полезно: тем, кто оптимизирует inference на собственных дешёвых GPU без готовых кернелов.

Статья по теме

Главы

Похожие доклады