← Каталог

· AI Engineer World's Fair 2026

Когда важен весь контекст: Extended Cache Augmented Generation (ECAG)

When all context matters: Extended Cache Augmented Generation (ECAG)

Для быстро меняющихся и плотно связанных документов можно обойтись без графа знаний: параллельные KV-кэши и супервизорная модель, по словам спикера, работают быстрее GraphRAG.

  • Распределение без доменов — документы раскладываются по кэшам без группировки по темам, с балансом по количеству; по словам спикера, группировка по доменам заставляет супервизор игнорировать домены, которые на первый взгляд не релевантны.
  • Параллельная загрузка кэшей — супервизор исследует кэши, задаёт уточняющие вопросы нужному кэшу и синтезирует ответ; по словам спикера, построение знания заметно быстрее, чем построение графа в GraphRAG.
  • Цена KV-кэша — расходы снижаются за счёт подбора времени жизни каждого кэша; спикер не видит универсального решения и отмечает компромиссы между compute, стоимостью и скоростью.

Кому полезно: тем, у кого коллекция часто заменяется целиком и ответ требует связать сведения из всех документов.

Статья по теме

На какие вопросы отвечает доклад

  • Почему обычный RAG пропускает связи между документами, если для ответа нужна вся коллекция?

    Векторный поиск возвращает только фрагменты, похожие на запрос, а при плотных связях между записями часть нужного контекста остаётся вне выборки.

    ▶ 0:45Почему векторный RAG упускает важный контекст
  • Почему GraphRAG плохо подходит для коллекций, которые часто заменяются?

    Граф строится LLM-извлечением сущностей и связей из каждого документа, поэтому при каждой замене данных его пересчёт дорог и занимает много времени.

    ▶ 2:08Графы знаний GraphRAG и накладные расходы на извлечение
  • Как отвечать на вопросы по плотно связанным документам, которые часто обновляются, без пересчёта графа?

    Спикер предлагает ECAG: документы распределяются по параллельным корзинам с кэшем контекста, а supervisor модель опрашивает их и синтезирует ответ.

    ▶ 3:21От CAG к параллельным кэшированным блокам контекста
  • Как распределять документы по параллельным кэшам контекста, если все они связаны между собой?

    Документы раскладываются без тематического порядка с балансом по количеству, потому что supervisor модель при разбиении по доменам игнорирует категории, которые кажутся нерелевантными.

    ▶ 3:21От CAG к параллельным кэшированным блокам контекста
  • Сколько стоит KV cache при долгоживущем кэше контекста и как его удешевить?

    Спикер признаёт, что KV cache дорогой; расходы снижают, оптимизируя время жизни каждого кэша, а любая стратегия поиска упирается в компромисс между вычислениями, стоимостью и скоростью.

    ▶ 4:56Заявленные показатели ECAG и компромиссы по затратам KV cache

Главы

Похожие доклады