← Каталог

· AI Engineer World's Fair 2026

Качество данных — множитель вычислительных ресурсов

Data Quality is the Compute Multiplier

Качество данных работает как множитель вычислений: по словам спикера, курация даёт модели результат, на который без неё ушло бы в десятки раз больше вычислений.

  • Визуально-языковые модели — при том же бюджете курация дала около 14 процентных пунктов прироста; по словам спикера, модель почти сравнялась с Qwen3.5-4B при вычислениях на обучение в 145 раз меньше.
  • Mid-training под домен — 100 млрд токенов, меньше 1% бюджета pre-training, подняли LegalBench примерно на 5 пунктов без потери общих способностей, если большую часть смеси составляют данные, похожие на pre-training. Прирост от post-training в такой модели почти втрое выше, чем у модели, прошедшей только стандартный post-training.
  • Открытая модель за менее 20 миллионов долларов — Arcee обучила на 17 трлн курированных публичных токенов модель, которая, по словам спикера, сопоставима с открытым frontier; вся стоимость, включая эксперименты и зарплаты, уложилась в эту сумму.
  • Перефразирование качественных документов — синтетику строят не из случайных документов, а из самых качественных: их переписывают в разные форматы, например в вопросы да/нет. По словам авторов, такой подход даёт лучший результат, чем публичные синтетические корпуса.

Кому полезно: тем, кто дообучает модель под узкую предметную область или обучает модель при ограниченном бюджете вычислений.

Главы

Похожие доклады