· AI Engineer World's Fair 2026
Качество данных — множитель вычислительных ресурсов
Data Quality is the Compute Multiplier
Качество данных работает как множитель вычислений: по словам спикера, курация даёт модели результат, на который без неё ушло бы в десятки раз больше вычислений.
- Визуально-языковые модели — при том же бюджете курация дала около 14 процентных пунктов прироста; по словам спикера, модель почти сравнялась с Qwen3.5-4B при вычислениях на обучение в 145 раз меньше.
- Mid-training под домен — 100 млрд токенов, меньше 1% бюджета pre-training, подняли LegalBench примерно на 5 пунктов без потери общих способностей, если большую часть смеси составляют данные, похожие на pre-training. Прирост от post-training в такой модели почти втрое выше, чем у модели, прошедшей только стандартный post-training.
- Открытая модель за менее 20 миллионов долларов — Arcee обучила на 17 трлн курированных публичных токенов модель, которая, по словам спикера, сопоставима с открытым frontier; вся стоимость, включая эксперименты и зарплаты, уложилась в эту сумму.
- Перефразирование качественных документов — синтетику строят не из случайных документов, а из самых качественных: их переписывают в разные форматы, например в вопросы да/нет. По словам авторов, такой подход даёт лучший результат, чем публичные синтетические корпуса.
Кому полезно: тем, кто дообучает модель под узкую предметную область или обучает модель при ограниченном бюджете вычислений.
Главы
Похожие доклады
Обучение Krea 2: что важно при обучении генеративных моделей
AI Engineer World's Fair 2026
Близко по содержанию
Подготовка данных и сред для постобучения LLM
AI Engineer World's Fair 2026
Близко по содержанию
От 15% до 90% загрузки GPU: исправьте конвейер данных, а не модель
AI Engineer World's Fair 2026
Близко по содержанию
Всё, что нужно знать о fine-tuning и объединении LLM
AI Engineer World's Fair 2024
Близко по содержанию
