· AI Engineer World's Fair 2026
Облако для инференса моделей frontier AI для агентов
The Frontier AI Inference Cloud for Agents — Byung-Gon (Gon) Chun, FriendliAI
Агентный инференс нужно оптимизировать по времени выполнения всей задачи, а не отдельного вызова модели, и FriendliAI строит стек под это от кэширования до маршрутизации.
- Переиспользование префиксов между шагами — шаги одной задачи делят большой общий префикс контекста, поэтому его KV cache считается один раз и берётся из кэша на следующих шагах, а обрабатывается только новый суффикс. Кэш разнесён по памяти GPU, host memory и дискам, чтобы выйти за пределы видеопамяти.
- Маршрутизация с учётом кэша — глобальный роутер отправляет запрос туда, где уже закэширован нужный префикс, и при этом балансирует нагрузку, чтобы один путь не перегружался. Запросы одной задачи попадают на один путь.
- Цифры из кейсов — по словам авторов, GLM 5.2 на FriendliAI выполнил ту же задачу по созданию игры примерно в 5,6 раза дешевле Opus 4.8 ($0,27 против $1,50). В тесте Kilo провайдер был в семь раз быстрее сторонних провайдеров и с меньшим числом ошибок.
- Планирование с учётом агента — спикер называет следующим рубежом планировщик, который знает, что вызов входит в программу агента, и может вытеснять работу, заранее префиллить вероятный следующий шаг и выбирать вытеснение кэша с учётом контекста агента.
Кому полезно: тем, кто выводит агентов с длинными задачами и tool calls в продакшен на open-weight моделях и упирается в задержку и стоимость.
Статья по теме
На какие вопросы отвечает доклад
Почему для агентов важна задержка всей задачи, а не отдельного запроса?
Агент делает много вызовов модели и инструментов, а пользователь ждёт завершения всей задачи. Поэтому оптимизировать нужно время выполнения задачи целиком, а не один запрос к модели.
▶ 3:16От чата к агентным задачамПочему агент тратит вычисления на повторную обработку одного и того же префикса?
Шаги агента делят большой общий префикс, и без кэша он пересчитывается каждый раз. Prefix caching сохраняет KV cache префикса и обрабатывает только новый суффикс, что ускоряет time to first token.
▶ 8:08Кэширование и cache-aware routingКак распределять запросы агентов между кластерами, чтобы не терять кэш префиксов?
Cache-aware роутер отправляет запрос на путь, где уже закэширован нужный префикс, и превращает холодный prefill в попадание в кэш. При этом он балансирует нагрузку, чтобы один путь не стал горячей точкой.
▶ 8:08Кэширование и cache-aware routingКак хранить KV cache длинных агентных сессий, если он не помещается в память GPU?
Иерархическое кэширование распределяет KV cache по памяти GPU, host memory и дискам. Распределённый кэш позволяет использовать один префикс на нескольких репликах, а не только внутри одного инстанса.
▶ 8:08Кэширование и cache-aware routingМожет ли инференс-сервер использовать знание о структуре агентной программы?
По словам спикера, это следующий рубеж: сервер мог бы предвыделять работу, заранее делать prefill вероятного следующего шага и вытеснять кэш с учётом контекста агента. Цифр в докладе нет.
▶ 10:07Agent-aware оптимизацияСколько стоит агентная задача на открытой модели по сравнению с закрытой?
Спикер сравнивает одну задачу на кодинг: Opus 4.8 стоит около $1,50, GLM 5.2 на FriendliAI около 27 центов, примерно в 5,6 раза дешевле. По его словам, качество результата обоих вариантов достаточно для использования.
▶ 1:25Open-weight модели дотянулись до фронтира
Главы
Похожие доклады
Инженерия ИИ 201: инференс
AI Engineer Summit 2023
Близко по содержанию
Одна модель — разная скорость: почему важен провайдер инференса
AI Engineer World's Fair 2026
Близко по содержанию
Эксплуатация распределённых систем инференса в больших масштабах
AI Engineer World's Fair 2026
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию

