Контекст — не память. Память — это обновление весов
Stuffing Context is not Memory, Updating Weights is
Приватные и нишевые знания, по мнению спикера, лучше переносить в веса модели через большие синтетические датасеты, чем держать в контексте или в RAG.
- Цена контекста — длинный контекст дорогой и медленный, а качество на нём падает: по словам спикера, на десятках тысяч токенов модели перестают решать задачу, хотя продолжают выдавать грамотный текст.
- Эмбеддинги не защищают данные — по исследованию спикера, при определённой длине из векторов можно восстановить около 90% исходного текста. Контекстные эмбеддинги, которые учитывают соседние документы, лучше различают близкие по смыслу нишевые тексты, например документы Visa и Mastercard.
- Синтетика вместо сырых данных — дообучение на одном финансовом отчёте 3M дало нулевой loss, но модель не написала стихотворение о компании. Генерация большого разнообразного датасета из исходного корпуса, по словам авторов статьи из Stanford, на объёме от 100 млн до 1 млрд токенов обходила GPT-4 на этом корпусе.
- Что менять в весах — LoRA учится слабее полного дообучения, но меньше забывает базовые знания. Memory layers в представленных замерах почти не забывали, однако спикер прямо говорит, что однозначного ответа пока нет.
Кому полезно: тем, кто строит системы по внутренней документации или закрытым данным и думает, когда RAG перестаёт хватать.
Статья по теме
Главы
Ещё доклады: Jack Morris
Страница спикера →Масштабирование вычислений для работы с контекстом
AI Engineer World's Fair 2026
Похожие доклады
Как создать обучающуюся память для AI agents
AI Engineer World's Fair 2026
Близко по содержанию
Адаптация и fine-tuning LLM для специализированных областей
AI Engineer Summit 2023
Близко по содержанию
Базовая модель умерла
AI Engineer World's Fair 2026
Близко по содержанию

