← Каталог

· AI Engineer Code 2025

Инженерия контекстной платформы для снижения тревоги из-за токенов

Context Platform Engineering to Reduce Token Anxiety — Val Bercovici and Callan Fox, WEKA

KV-cache hit rate определяет стоимость агентных систем, и удерживать KV-кэш помогают тиры памяти с большой ёмкостью, например пул DRAM и хранилище на NVMe.

  • Время жизни кэша — при TTL в одну минуту префилл повторяет одни и те же токены примерно 15–16 раз, а с часовым TTL это число приближается к единице; цифры относятся к одной из проанализированных бесед.
  • Паузы между запросами — у агентного кодинга медианная пауза составляет 10–15 секунд, а средняя измеряется минутами или часами из-за ожидания человека, поэтому короткий TTL пропускает большую часть попаданий в кэш.
  • Тиры памяти — DRAM ограничен и тесно связан с GPU, а коннектор Augmented Memory Grid подключает к инференсу хранилище WEKA на NVMe; по словам авторов, в установившемся режиме такая схема держит больше пользователей и выходных токенов, чем связка HBM с DRAM.
  • Открытый тулкит — генератор нагрузки на GitHub имитирует рои агентов с SLO по time to first token и выходным токенам и показывает, как конфигурация памяти ведёт себя при росте числа пользователей.

Кому полезно: тем, кто разворачивает self-hosted инференс для агентов и решает, сколько памяти отдать под KV-кэш.

Статья по теме

Главы

Похожие доклады