← Каталог

· AI Engineer Code 2025

Контекст — не память. Память — это обновление весов

Stuffing Context is not Memory, Updating Weights is

Приватные и нишевые знания, по мнению спикера, лучше переносить в веса модели через большие синтетические датасеты, чем держать в контексте или в RAG.

  • Цена контекста — длинный контекст дорогой и медленный, а качество на нём падает: по словам спикера, на десятках тысяч токенов модели перестают решать задачу, хотя продолжают выдавать грамотный текст.
  • Эмбеддинги не защищают данные — по исследованию спикера, при определённой длине из векторов можно восстановить около 90% исходного текста. Контекстные эмбеддинги, которые учитывают соседние документы, лучше различают близкие по смыслу нишевые тексты, например документы Visa и Mastercard.
  • Синтетика вместо сырых данных — дообучение на одном финансовом отчёте 3M дало нулевой loss, но модель не написала стихотворение о компании. Генерация большого разнообразного датасета из исходного корпуса, по словам авторов статьи из Stanford, на объёме от 100 млн до 1 млрд токенов обходила GPT-4 на этом корпусе.
  • Что менять в весах — LoRA учится слабее полного дообучения, но меньше забывает базовые знания. Memory layers в представленных замерах почти не забывали, однако спикер прямо говорит, что однозначного ответа пока нет.

Кому полезно: тем, кто строит системы по внутренней документации или закрытым данным и думает, когда RAG перестаёт хватать.

Статья по теме

Главы

Ещё доклады: Jack Morris

Страница спикера →

Похожие доклады