← Каталог

· AI Engineer World's Fair 2026

Облако для инференса моделей frontier AI для агентов

The Frontier AI Inference Cloud for Agents — Byung-Gon (Gon) Chun, FriendliAI

Агентный инференс нужно оптимизировать по времени выполнения всей задачи, а не отдельного вызова модели, и FriendliAI строит стек под это от кэширования до маршрутизации.

  • Переиспользование префиксов между шагами — шаги одной задачи делят большой общий префикс контекста, поэтому его KV cache считается один раз и берётся из кэша на следующих шагах, а обрабатывается только новый суффикс. Кэш разнесён по памяти GPU, host memory и дискам, чтобы выйти за пределы видеопамяти.
  • Маршрутизация с учётом кэша — глобальный роутер отправляет запрос туда, где уже закэширован нужный префикс, и при этом балансирует нагрузку, чтобы один путь не перегружался. Запросы одной задачи попадают на один путь.
  • Цифры из кейсов — по словам авторов, GLM 5.2 на FriendliAI выполнил ту же задачу по созданию игры примерно в 5,6 раза дешевле Opus 4.8 ($0,27 против $1,50). В тесте Kilo провайдер был в семь раз быстрее сторонних провайдеров и с меньшим числом ошибок.
  • Планирование с учётом агента — спикер называет следующим рубежом планировщик, который знает, что вызов входит в программу агента, и может вытеснять работу, заранее префиллить вероятный следующий шаг и выбирать вытеснение кэша с учётом контекста агента.

Кому полезно: тем, кто выводит агентов с длинными задачами и tool calls в продакшен на open-weight моделях и упирается в задержку и стоимость.

Статья по теме

На какие вопросы отвечает доклад

  • Почему для агентов важна задержка всей задачи, а не отдельного запроса?

    Агент делает много вызовов модели и инструментов, а пользователь ждёт завершения всей задачи. Поэтому оптимизировать нужно время выполнения задачи целиком, а не один запрос к модели.

    ▶ 3:16От чата к агентным задачам
  • Почему агент тратит вычисления на повторную обработку одного и того же префикса?

    Шаги агента делят большой общий префикс, и без кэша он пересчитывается каждый раз. Prefix caching сохраняет KV cache префикса и обрабатывает только новый суффикс, что ускоряет time to first token.

    ▶ 8:08Кэширование и cache-aware routing
  • Как распределять запросы агентов между кластерами, чтобы не терять кэш префиксов?

    Cache-aware роутер отправляет запрос на путь, где уже закэширован нужный префикс, и превращает холодный prefill в попадание в кэш. При этом он балансирует нагрузку, чтобы один путь не стал горячей точкой.

    ▶ 8:08Кэширование и cache-aware routing
  • Как хранить KV cache длинных агентных сессий, если он не помещается в память GPU?

    Иерархическое кэширование распределяет KV cache по памяти GPU, host memory и дискам. Распределённый кэш позволяет использовать один префикс на нескольких репликах, а не только внутри одного инстанса.

    ▶ 8:08Кэширование и cache-aware routing
  • Может ли инференс-сервер использовать знание о структуре агентной программы?

    По словам спикера, это следующий рубеж: сервер мог бы предвыделять работу, заранее делать prefill вероятного следующего шага и вытеснять кэш с учётом контекста агента. Цифр в докладе нет.

    ▶ 10:07Agent-aware оптимизация
  • Сколько стоит агентная задача на открытой модели по сравнению с закрытой?

    Спикер сравнивает одну задачу на кодинг: Opus 4.8 стоит около $1,50, GLM 5.2 на FriendliAI около 27 центов, примерно в 5,6 раза дешевле. По его словам, качество результата обоих вариантов достаточно для использования.

    ▶ 1:25Open-weight модели дотянулись до фронтира

Главы

Похожие доклады