· AI Engineer World's Fair 2026
Как инференс успевает за ненасытным спросом на токены
How Inference Keeps Up with Our Insatiable Need for Tokens — Cerebras & Gimlet Labs
Рост спроса на токены можно закрывать одновременно быстрым и дешёвым инференсом, если разносить prefill, decode и отдельные слои модели по разному железу.
- Prefill и decode в отдельных пулах — фазы упираются в разные ресурсы, поэтому пулы масштабируются независимо. Спикер описывает планируемую связку: AWS Trainium для prefill, EFA для передачи KV cache и Cerebras CS-3 для decode.
- Speculative decoding на разном железе — маленькая draft-модель предлагает токены, большая модель проверяет их пачкой. По словам спикера, при том же throughput интерактивность выросла в 10 раз по сравнению с гомогенными системами.
- Paged KV cache — выделение памяти страницами, как в ОС, позволяет, по словам спикера, обслуживать втрое больше запросов, чем при резервировании блоков заранее.
- KForge — агент, который подбирает оптимизированные kernels перебором; меньше чем за неделю работы, по словам авторов, ускорил gpt-oss-120b на AMD на 33% end-to-end.
Кому полезно: тем, кто выводит в продакшен сервисы с длинными контекстами coding агентов и считает стоимость токенов.
Статья по теме
Главы
Ещё доклады: Daniel Kim
Страница спикера →От Mixture of Experts к Mixture of Agents — с молниеносным инференсом
AI Engineer World's Fair 2025
Похожие доклады
Тот же GPU — на 50% больше результата: почему важен оператор
Близко по содержанию
Хватит арендовать интеллект: цикл обучения и внедрения специализированного ИИ
AI Engineer World's Fair 2026
Близко по содержанию
Маршрутизация с учётом KV cache и разделение prefill/decode в Kubernetes
AI Engineer World's Fair 2026
Близко по содержанию

