← Каталог

· AI Engineer World's Fair 2026

Свёртка весов, CUDA-потоки и баг, из-за которого моя модель заговорила задом наперёд

Weight Folding, CUDA Streams, and the Bug That Made My Model Speak Backwards — Filip Makraduli

Два алгебраических приёма, по словам автора, делают RMSNorm в трансформере дешевле, а параллельный запуск на CUDA streams требует явной синхронизации, иначе модель начинает выдавать прошлые значения.

  • Weight folding — масштаб нормализации сворачивается в матрицу весов и считается офлайн, поэтому на инференсе отдельной операции нет. Модель остаётся обычным чекпоинтом, совместимым с torch compile и квантованными моделями.
  • Отложенное деление — скалярное деление переносится за умножение матриц, поэтому тензорные ядра и CUDA-ядра могут работать параллельно, а не ждать друг друга.
  • Сокращение двух RMS — в архитектурах, где нормализация стоит дважды (например, Gemma Four), один из слоёв можно убрать без потери корректности.
  • Ловушка с неявным объединением потоков — незавершённое умножение матриц читалось как старое значение, и юнит-тесты с перплексией этого не поймали. Ошибка проявилась на длинной генерации и исправилась явными маркерами окончания операций и ожиданием обоих потоков.

Кому полезно: тем, кто пишет собственные CUDA-ядра для инференса или экспериментирует с нормализацией в открытых моделях.

Статья по теме

Главы

Ещё доклады: Filip Makraduli

Страница спикера →

Похожие доклады