· AI Engineer World's Fair 2026
Непростая реальность масштабирования: синтетические данные и предобучение
The Messy Reality of Scale: Synthetic Data and Pre-Training
Синтетические данные дополняют органические, а на тысячах GPU главные риски — сбои железа и потеря точности, которые видны только на масштабе.
- Хеши реплик — если веса расходятся между репликами, обучение останавливается; так нашли GPU, который тихо портил данные и вызывал скачки loss.
- BF16 в tensor parallel — накопление на LM head в BF16 при растущих активациях остановило сходимость примерно на 50 тысячах шагов; перенос накопления в FP32 вернул обучение.
- Гонка в FP8-ядрах DeepGEMM — ядра тихо заменяли около 0,5% градиентов случайными значениями; по словам авторов, исправление пока в открытом PR, а hash-проверки такой баг не ловят.
- Синтетика как конвейер — пайплайн собирается из seeds, генератора (LLM или агента) и фильтров с валидаторами; сложную задачу дробят, потому что трудная для модели задача снижает корректность.
Кому полезно: тем, кто обучает модели на кластерах из тысяч GPU и хочет находить тихие ошибки до того, как они испортят прогон.
Главы
Похожие доклады
Масштабирование reinforcement learning между дата-центрами
AI Engineer World's Fair 2026
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Всё, что нужно знать о fine-tuning и объединении LLM
AI Engineer World's Fair 2024
Близко по содержанию
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию

