· AI Engineer World's Fair 2026
Непрерывное обучение без градиентов
Adaption Labs — Gradient-Free Continual Learning
Совместная автоматизация данных и обучения модели, по словам авторов, даёт больше прироста, чем наращивание размера pre-training.
- Совместная оптимизация данных и модели — по словам спикера, отдача появилась только тогда, когда качество данных контролировали вместе с обучением; агент, который лишь решал, генерировать ли данные, давал меньше.
- Широкий перебор конфигураций — AutoScientist перебирает архитектуры и размеры моделей, включая плотные и MoE, и, по словам автора, обгоняет исследовательскую команду, которая привыкла к своим типам моделей.
- Остановка по порогу — эксперименты останавливались при доле побед выше 60%; по словам спикера, когда этот барьер убрали, показатели продолжали расти со временем.
- Сдвиг отдачи от pre-training — на OpenLLM leaderboard меньшие модели со временем начали обгонять большие, а, по наблюдению спикера, основной прирост качества сместился в post-training и работу с данными.
Кому полезно: тем, кто дообучает модели для медицины, права или кода, где готовые модели, по словам спикера, часто не справляются.
Статья по теме
На какие вопросы отвечает доклад
Как автоматизировать дообучение модели под свою предметную область без команды ML-исследователей?
AutoScientist автоматизирует весь цикл обучения от данных до alignment и сам подбирает архитектуру и размер модели. По словам спикера, в тестах он обошёл исследовательскую команду.
▶ 5:14AutoScientist и настройка моделей с эффективным использованием вычислительных ресурсовПочему автоматический подбор обучения не даёт прироста, если агент сам решает, какие данные создавать?
По словам спикера, выигрыш появился только когда качество данных контролировали вместе с моделью, адаптируя данные так же, как саму модель. Параметры меняли сразу много, а не по одному.
▶ 5:14AutoScientist и настройка моделей с эффективным использованием вычислительных ресурсовПочему рост размера pre-training модели перестал давать такой же прирост качества?
По словам спикера, текущая архитектура близка к потолку, и маленькие модели стали обгонять крупные в рейтингах. Основной прирост теперь дают post-training и inference.
▶ 10:51Альтернативы масштабированию и конкурентоспособные модели меньшего размераНужны ли тысячи GPU для дообучения, если основной прирост дают post-training и inference?
По словам спикера, post-training и agentic compute можно распределять, а не копить GPU в одном месте, как при pre-training. Преимущество получает тот, у кого лучше идея.
▶ 13:45Вопросы аудитории: демократизация, GPU и риски open sourceКак разделить знания между весами модели и внешней памятью при непрерывном обучении агента?
Спикер называет это открытым вопросом: что хранить в параметрах, а что во внешних данных. По его словам, harness нельзя оптимизировать отдельно от модели, их нужно настраивать совместно.
▶ 13:45Вопросы аудитории: демократизация, GPU и риски open source
Главы
Похожие доклады
Фронтир ИИ на настольных компьютерах
AI Engineer World's Fair 2026
Близко по содержанию
Масштабирование непрерывного обучения
AI Engineer World's Fair 2026
Близко по содержанию
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Близко по содержанию
Что скрывается за API
AI Engineer Europe 2026
Близко по содержанию

