· AI Engineer World's Fair 2026
Одна модель — разная скорость: почему важен провайдер инференса
Same Model, Different Speed: Why Your Inference Provider Matters — FriendliAI
Провайдер инференса меняет скорость и надёжность агентов на той же модели, поэтому его стоит проверять вместе с качеством и ценой.
- Кэш префиксов — в агентных запросах входы длиннее 10k токенов, и по словам автора от 50% до 90% токенов совпадает между запросами, поэтому повторное вычисление префикса тратит и латентность, и GPU. Маршрутизация на реплику с нужным KV cache и иерархия памяти GPU VRAM, CPU RAM, NVMe сокращают TTFT.
- Динамический speculative decoding — runtime выбирает между draft-моделью и методом без модели, который берёт паттерны из промпта или прошлого вывода. Метод без модели дешевле, но работает, только когда вывод похож на контекст.
- Надёжность как часть скорости — таймауты, 5xx и 429 ломают многовызовные агентные цепочки, поэтому важны error rate и uptime. Автор приводит uptime выше 99,9% у FriendliAI.
- Тест на своей нагрузке — публичные бенчмарки зависят от условий, поэтому проверяйте провайдера своими промптами, длиной токенов, трафиком и требованиями к латентности. В отчёте клиента Kilo Code FriendliAI был до семи раз быстрее на GLM-моделях.
Кому полезно: тем, кто выбирает провайдера для агентов с длинными повторяющимися промптами. Доклад во многом презентация FriendliAI, а цифры в нём — заявления вендора и клиента, независимо не проверенные.
Статья по теме
Главы
Похожие доклады
Агенты, которые сами управляют своим инференсом
AI Engineer World's Fair 2026
Близко по содержанию
Быстрая модель — действительно быстрее? Оценивайте весь процесс
Близко по содержанию
Что делает открытые модели быстрыми в production
AI Engineer Code 2025
Близко по содержанию
Как инференс успевает за ненасытным спросом на токены
AI Engineer World's Fair 2026
Близко по содержанию

