· AI Engineer World's Fair 2026
Свёртка весов, CUDA-потоки и баг, из-за которого моя модель заговорила задом наперёд
Weight Folding, CUDA Streams, and the Bug That Made My Model Speak Backwards — Filip Makraduli
Два алгебраических приёма, по словам автора, делают RMSNorm в трансформере дешевле, а параллельный запуск на CUDA streams требует явной синхронизации, иначе модель начинает выдавать прошлые значения.
- Weight folding — масштаб нормализации сворачивается в матрицу весов и считается офлайн, поэтому на инференсе отдельной операции нет. Модель остаётся обычным чекпоинтом, совместимым с torch compile и квантованными моделями.
- Отложенное деление — скалярное деление переносится за умножение матриц, поэтому тензорные ядра и CUDA-ядра могут работать параллельно, а не ждать друг друга.
- Сокращение двух RMS — в архитектурах, где нормализация стоит дважды (например, Gemma Four), один из слоёв можно убрать без потери корректности.
- Ловушка с неявным объединением потоков — незавершённое умножение матриц читалось как старое значение, и юнит-тесты с перплексией этого не поймали. Ошибка проявилась на длинной генерации и исправилась явными маркерами окончания операций и ожиданием обоих потоков.
Кому полезно: тем, кто пишет собственные CUDA-ядра для инференса или экспериментирует с нормализацией в открытых моделях.
Статья по теме
Главы
Ещё доклады: Filip Makraduli
Страница спикера →Превращаю хранилище Obsidian в локального AI-инженера
AI Engineer World's Fair 2026
Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Похожие доклады
Запуск LLM локально: практическая производительность на DGX Spark
AI Engineer Europe 2026
Близко по содержанию
Специальные темы: kernels, RL и reward hacking в агентах
AI Engineer World's Fair 2026
Близко по содержанию
Luminal — компиляторы глубокого обучения с поиском оптимизаций
AI Engineer World's Fair 2025
Близко по содержанию

