← Каталог

· AI Engineer World's Fair 2026

Непрерывное обучение без градиентов

Adaption Labs — Gradient-Free Continual Learning

Совместная автоматизация данных и обучения модели, по словам авторов, даёт больше прироста, чем наращивание размера pre-training.

  • Совместная оптимизация данных и модели — по словам спикера, отдача появилась только тогда, когда качество данных контролировали вместе с обучением; агент, который лишь решал, генерировать ли данные, давал меньше.
  • Широкий перебор конфигураций — AutoScientist перебирает архитектуры и размеры моделей, включая плотные и MoE, и, по словам автора, обгоняет исследовательскую команду, которая привыкла к своим типам моделей.
  • Остановка по порогу — эксперименты останавливались при доле побед выше 60%; по словам спикера, когда этот барьер убрали, показатели продолжали расти со временем.
  • Сдвиг отдачи от pre-training — на OpenLLM leaderboard меньшие модели со временем начали обгонять большие, а, по наблюдению спикера, основной прирост качества сместился в post-training и работу с данными.

Кому полезно: тем, кто дообучает модели для медицины, права или кода, где готовые модели, по словам спикера, часто не справляются.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады