← Каталог

· AI Engineer World's Fair 2026

Context engineering в 2026 году: компактизация, память и стоимость

Context Engineering in 2026: Compaction, Memory & Cost

Для AI-тьютора с длинными диалогами полная история с кэшем, по словам авторов, опережает сжатие контекста по памяти, цене и задержке.

  • Сжатие ломает кэш — суммаризация даёт новый контекст, который провайдер не может закэшировать. Кэшированные токены у DeepSeek, по словам авторов, стоят до 50 раз дешевле, поэтому сжатие окупается только при степени больше 50.
  • Память после сжатия — в тесте на удержание деталей полная история находила нужный факт в 95% случаев, а после сжатия только в 32%.
  • Семантический поиск на длинном контексте — dense RAG на 400K токенах перестал находить факты из середины, а BM25 находил их всегда. Поэтому в тьюторе используется гибридный поиск.
  • Локальные модели — окно 32K на MacBook не вмещало даже отдельные уроки, и кэш перестал помогать. Для облака авторы выбрали DeepSeek V4 Flash с полной историей до 30K токенов и сжатием после этого порога.

Кому полезно: тем, кто проектирует чат-агента с длинными сессиями и выбирает между сжатием контекста и полной историей с кэшем.

Доклад цитируется в статьях

Главы

Ещё доклады: Louis-François Bouchard

Страница спикера →

Похожие доклады