· AI Engineer World's Fair 2024
За пределами RAG: трансформеры с расширенной памятью
Going beyond RAG: Extended Mind Transformers
Кэш ключей и значений внешней памяти можно подключить к декодерной LLM прямо в attention, и модель найдёт нужные куски без fine-tuning.
- Память внутри attention — ключи и значения памяти кэшируются в каждом декодерном слое, а каждый токен запроса по косинусной близости берёт top-k записей. По словам спикера, для моделей с RoPE (Llama) и ALiBi (MPT) дообучение не требуется.
- Результаты на контрфактическом бенчмарке — на контекстах от 2 до 16 тысяч токенов модель без fine-tuning, по словам автора, конкурирует с дообученными, а в связке с RAG обгоняет GPT-4. Бенчмарк, модели и код открыты.
- Цитаты и уверенность — можно получить точные токены памяти, которые использовала модель при генерации. Там, где энтропия распределения высокая, шаг перегенерируется с большим числом записей.
- Настройка памяти — stride задаёт компромисс между качеством представлений и вычислениями, top-k зависит от длины памяти, а порог similarity masking (например, 0.25) отсекает слабые совпадения.
Кому полезно: тем, кто хочет длинный контекст или цитаты с опорой на токены без дорогого дообучения и готов работать с открытыми моделями.
Статья по теме
На какие вопросы отвечает доклад
Как дать LLM доступ к большому внешнему знанию без fine-tuning и без RAG?
Кэшировать key-value представления памяти и дать каждому токену запроса извлекать top-k записей по косинусной близости прямо внутри attention. По словам авторов, дообучение для этого не нужно, модель опирается на собственный механизм извлечения.
▶ 3:59Внешняя память «ключ—значение» и retrieval, встроенный в трансформерКак проверить, что модель отвечает по переданному контексту, а не по запомненным фактам?
Авторы сделали counterfactual benchmark: правильный ответ в фрагментах от 2 до 16 тысяч токенов заменяли правдоподобным, но неверным, и смотрели, какой ответ выберет модель. По их данным, их модели без дообучения на длинных входах конкурируют с дообученными.
▶ 6:16Контрфактический бенчмарк и экспериментальные сравненияКак понять, какие фрагменты памяти модель реально использовала при генерации ответа?
Каждый сгенерированный токен связан с извлечёнными из памяти токенами, поэтому можно показать, какие фрагменты повлияли на ответ. В отличие от RAG, где цитаты подбираются постфактум, это причинная связь с генерацией.
▶ 8:58Цитирование и доверие к выводам моделиМожно ли перегенерировать только неуверенные токены, подтягивая больше фрагментов из памяти?
Неуверенность можно мерить, например, энтропией распределения на выходе. Если модель не уверена в токене, этот шаг генерируется заново с большим числом извлекаемых записей. В примере с датой неверный ответ после этого стал правильным.
▶ 8:58Цитирование и доверие к выводам моделиКак подобрать top-k и stride для кэша памяти у LLM?
top-k задаёт, сколько записей памяти каждый токен может извлечь, и его стоит подбирать по длине памяти. Меньший stride при обработке памяти даёт качественнее представления, но требует больше вычислений.
▶ 11:53Настройка памяти, фильтрация токенов и ресурсы open sourceКак не дать модели путать ответ нерелевантными фрагментами из памяти?
Маскировать записи с косинусной близостью ниже порога и удалять из памяти unknown токены, которые дают ложные совпадения с запросом, но не несут смысла. Эти приёмы авторы называют наиболее эффективными.
▶ 11:53Настройка памяти, фильтрация токенов и ресурсы open source
Главы
Похожие доклады
Как довести RAG до production: поиск, оценка и анализ ошибок
AI Engineer Summit 2023
Близко по содержанию
Хватит арендовать память для своего ИИ
AI Engineer Code 2025
Близко по содержанию
Оптимизация RAG с помощью оценки
AI Engineer World's Fair 2024
Близко по содержанию
RAG в 2025 году: современное состояние и перспективы
AI Engineer World's Fair 2025
Близко по содержанию

