Инженерия контекстной платформы для снижения тревоги из-за токенов
Context Platform Engineering to Reduce Token Anxiety — Val Bercovici and Callan Fox, WEKA
KV-cache hit rate определяет стоимость агентных систем, и удерживать KV-кэш помогают тиры памяти с большой ёмкостью, например пул DRAM и хранилище на NVMe.
- Время жизни кэша — при TTL в одну минуту префилл повторяет одни и те же токены примерно 15–16 раз, а с часовым TTL это число приближается к единице; цифры относятся к одной из проанализированных бесед.
- Паузы между запросами — у агентного кодинга медианная пауза составляет 10–15 секунд, а средняя измеряется минутами или часами из-за ожидания человека, поэтому короткий TTL пропускает большую часть попаданий в кэш.
- Тиры памяти — DRAM ограничен и тесно связан с GPU, а коннектор Augmented Memory Grid подключает к инференсу хранилище WEKA на NVMe; по словам авторов, в установившемся режиме такая схема держит больше пользователей и выходных токенов, чем связка HBM с DRAM.
- Открытый тулкит — генератор нагрузки на GitHub имитирует рои агентов с SLO по time to first token и выходным токенам и показывает, как конфигурация памяти ведёт себя при росте числа пользователей.
Кому полезно: тем, кто разворачивает self-hosted инференс для агентов и решает, сколько памяти отдать под KV-кэш.
Статья по теме
Главы
Похожие доклады
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию
Почему большие контекстные окна не спасут вашего агента
AI Engineer World's Fair 2026
Близко по содержанию
От контекста к памяти: вашим agents нужен полноценный слой памяти
AI Engineer World's Fair 2026
Близко по содержанию
Почему с увеличением контекста агент глупеет и что с этим делать
AI Engineer Europe 2026
Близко по содержанию


