← Каталог

· AI Engineer World's Fair 2026

Масштабирование вычислений для работы с контекстом

Scaling Compute on Context

Дообучение модели на закрытом корпусе упирается в потолок, и, по словам автора, выход в цикле самоулучшения, где модель сама создаёт всё более сложные обучающие данные.

  • Обучение на сыром корпусе не даёт глубины — при loss около 0.0001 на 10 тысячах финансовых отчётов модель запоминает данные, но при генерации коллапсирует и не отвечает на вопросы, ответы на которые не записаны в данных напрямую.
  • KV compaction работает только в пределах контекста — сжатие корпуса в KV помогает, если данные помещаются в окно контекста, и, по мнению автора, не даёт эффекта, который дают градиенты.
  • Distillation и синтетический pre-training — on-policy distillation и self-study из статьи Cartridges учат модель вести себя так, будто документы в контексте; сложность в том, какие примеры для этого генерировать.
  • Насыщение кривой обучения — любой фиксированный набор синтетики рано или поздно выучивается и выходит на плато; автор описывает подход, где модель усложняет себе задачи по мере улучшения, но конкретных результатов в докладе мало.

Кому полезно: тем, кто думает о дообучении модели на внутренних данных компании, например на переписке и документах, и видит, что простой fine-tuning на них быстро выходит на плато.

Главы

Ещё доклады: Jack Morris

Страница спикера →

Похожие доклады