· AI Engineer World's Fair 2026
Масштабирование вычислений для работы с контекстом
Scaling Compute on Context
Дообучение модели на закрытом корпусе упирается в потолок, и, по словам автора, выход в цикле самоулучшения, где модель сама создаёт всё более сложные обучающие данные.
- Обучение на сыром корпусе не даёт глубины — при loss около 0.0001 на 10 тысячах финансовых отчётов модель запоминает данные, но при генерации коллапсирует и не отвечает на вопросы, ответы на которые не записаны в данных напрямую.
- KV compaction работает только в пределах контекста — сжатие корпуса в KV помогает, если данные помещаются в окно контекста, и, по мнению автора, не даёт эффекта, который дают градиенты.
- Distillation и синтетический pre-training — on-policy distillation и self-study из статьи Cartridges учат модель вести себя так, будто документы в контексте; сложность в том, какие примеры для этого генерировать.
- Насыщение кривой обучения — любой фиксированный набор синтетики рано или поздно выучивается и выходит на плато; автор описывает подход, где модель усложняет себе задачи по мере улучшения, но конкретных результатов в докладе мало.
Кому полезно: тем, кто думает о дообучении модели на внутренних данных компании, например на переписке и документах, и видит, что простой fine-tuning на них быстро выходит на плато.
Главы
Ещё доклады: Jack Morris
Страница спикера →Контекст — не память. Память — это обновление весов
AI Engineer Code 2025
Похожие доклады
Масштабирование сред для RL
AI Engineer Code 2025
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Качество данных — множитель вычислительных ресурсов
AI Engineer World's Fair 2026
Близко по содержанию
