← Каталог

· AI Engineer World's Fair 2026

Одна модель — разная скорость: почему важен провайдер инференса

Same Model, Different Speed: Why Your Inference Provider Matters — FriendliAI

Провайдер инференса меняет скорость и надёжность агентов на той же модели, поэтому его стоит проверять вместе с качеством и ценой.

  • Кэш префиксов — в агентных запросах входы длиннее 10k токенов, и по словам автора от 50% до 90% токенов совпадает между запросами, поэтому повторное вычисление префикса тратит и латентность, и GPU. Маршрутизация на реплику с нужным KV cache и иерархия памяти GPU VRAM, CPU RAM, NVMe сокращают TTFT.
  • Динамический speculative decoding — runtime выбирает между draft-моделью и методом без модели, который берёт паттерны из промпта или прошлого вывода. Метод без модели дешевле, но работает, только когда вывод похож на контекст.
  • Надёжность как часть скорости — таймауты, 5xx и 429 ломают многовызовные агентные цепочки, поэтому важны error rate и uptime. Автор приводит uptime выше 99,9% у FriendliAI.
  • Тест на своей нагрузке — публичные бенчмарки зависят от условий, поэтому проверяйте провайдера своими промптами, длиной токенов, трафиком и требованиями к латентности. В отчёте клиента Kilo Code FriendliAI был до семи раз быстрее на GLM-моделях.

Кому полезно: тем, кто выбирает провайдера для агентов с длинными повторяющимися промптами. Доклад во многом презентация FriendliAI, а цифры в нём — заявления вендора и клиента, независимо не проверенные.

Статья по теме

Главы

Похожие доклады