← Каталог

· AI Engineer World's Fair 2024

За пределами RAG: трансформеры с расширенной памятью

Going beyond RAG: Extended Mind Transformers

Кэш ключей и значений внешней памяти можно подключить к декодерной LLM прямо в attention, и модель найдёт нужные куски без fine-tuning.

  • Память внутри attention — ключи и значения памяти кэшируются в каждом декодерном слое, а каждый токен запроса по косинусной близости берёт top-k записей. По словам спикера, для моделей с RoPE (Llama) и ALiBi (MPT) дообучение не требуется.
  • Результаты на контрфактическом бенчмарке — на контекстах от 2 до 16 тысяч токенов модель без fine-tuning, по словам автора, конкурирует с дообученными, а в связке с RAG обгоняет GPT-4. Бенчмарк, модели и код открыты.
  • Цитаты и уверенность — можно получить точные токены памяти, которые использовала модель при генерации. Там, где энтропия распределения высокая, шаг перегенерируется с большим числом записей.
  • Настройка памяти — stride задаёт компромисс между качеством представлений и вычислениями, top-k зависит от длины памяти, а порог similarity masking (например, 0.25) отсекает слабые совпадения.

Кому полезно: тем, кто хочет длинный контекст или цитаты с опорой на токены без дорогого дообучения и готов работать с открытыми моделями.

Статья по теме

На какие вопросы отвечает доклад

  • Как дать LLM доступ к большому внешнему знанию без fine-tuning и без RAG?

    Кэшировать key-value представления памяти и дать каждому токену запроса извлекать top-k записей по косинусной близости прямо внутри attention. По словам авторов, дообучение для этого не нужно, модель опирается на собственный механизм извлечения.

    ▶ 3:59Внешняя память «ключ—значение» и retrieval, встроенный в трансформер
  • Как проверить, что модель отвечает по переданному контексту, а не по запомненным фактам?

    Авторы сделали counterfactual benchmark: правильный ответ в фрагментах от 2 до 16 тысяч токенов заменяли правдоподобным, но неверным, и смотрели, какой ответ выберет модель. По их данным, их модели без дообучения на длинных входах конкурируют с дообученными.

    ▶ 6:16Контрфактический бенчмарк и экспериментальные сравнения
  • Как понять, какие фрагменты памяти модель реально использовала при генерации ответа?

    Каждый сгенерированный токен связан с извлечёнными из памяти токенами, поэтому можно показать, какие фрагменты повлияли на ответ. В отличие от RAG, где цитаты подбираются постфактум, это причинная связь с генерацией.

    ▶ 8:58Цитирование и доверие к выводам модели
  • Можно ли перегенерировать только неуверенные токены, подтягивая больше фрагментов из памяти?

    Неуверенность можно мерить, например, энтропией распределения на выходе. Если модель не уверена в токене, этот шаг генерируется заново с большим числом извлекаемых записей. В примере с датой неверный ответ после этого стал правильным.

    ▶ 8:58Цитирование и доверие к выводам модели
  • Как подобрать top-k и stride для кэша памяти у LLM?

    top-k задаёт, сколько записей памяти каждый токен может извлечь, и его стоит подбирать по длине памяти. Меньший stride при обработке памяти даёт качественнее представления, но требует больше вычислений.

    ▶ 11:53Настройка памяти, фильтрация токенов и ресурсы open source
  • Как не дать модели путать ответ нерелевантными фрагментами из памяти?

    Маскировать записи с косинусной близостью ниже порога и удалять из памяти unknown токены, которые дают ложные совпадения с запросом, но не несут смысла. Эти приёмы авторы называют наиболее эффективными.

    ▶ 11:53Настройка памяти, фильтрация токенов и ресурсы open source

Главы

Похожие доклады