← Каталог

· AI Engineer World's Fair 2026

Непростая реальность масштабирования: синтетические данные и предобучение

The Messy Reality of Scale: Synthetic Data and Pre-Training

Синтетические данные дополняют органические, а на тысячах GPU главные риски — сбои железа и потеря точности, которые видны только на масштабе.

  • Хеши реплик — если веса расходятся между репликами, обучение останавливается; так нашли GPU, который тихо портил данные и вызывал скачки loss.
  • BF16 в tensor parallel — накопление на LM head в BF16 при растущих активациях остановило сходимость примерно на 50 тысячах шагов; перенос накопления в FP32 вернул обучение.
  • Гонка в FP8-ядрах DeepGEMM — ядра тихо заменяли около 0,5% градиентов случайными значениями; по словам авторов, исправление пока в открытом PR, а hash-проверки такой баг не ловят.
  • Синтетика как конвейер — пайплайн собирается из seeds, генератора (LLM или агента) и фильтров с валидаторами; сложную задачу дробят, потому что трудная для модели задача снижает корректность.

Кому полезно: тем, кто обучает модели на кластерах из тысяч GPU и хочет находить тихие ошибки до того, как они испортят прогон.

Главы

Похожие доклады