← Каталог

· AI Engineer World's Fair 2026

Как инференс успевает за ненасытным спросом на токены

How Inference Keeps Up with Our Insatiable Need for Tokens — Cerebras & Gimlet Labs

Рост спроса на токены можно закрывать одновременно быстрым и дешёвым инференсом, если разносить prefill, decode и отдельные слои модели по разному железу.

  • Prefill и decode в отдельных пулах — фазы упираются в разные ресурсы, поэтому пулы масштабируются независимо. Спикер описывает планируемую связку: AWS Trainium для prefill, EFA для передачи KV cache и Cerebras CS-3 для decode.
  • Speculative decoding на разном железе — маленькая draft-модель предлагает токены, большая модель проверяет их пачкой. По словам спикера, при том же throughput интерактивность выросла в 10 раз по сравнению с гомогенными системами.
  • Paged KV cache — выделение памяти страницами, как в ОС, позволяет, по словам спикера, обслуживать втрое больше запросов, чем при резервировании блоков заранее.
  • KForge — агент, который подбирает оптимизированные kernels перебором; меньше чем за неделю работы, по словам авторов, ускорил gpt-oss-120b на AMD на 33% end-to-end.

Кому полезно: тем, кто выводит в продакшен сервисы с длинными контекстами coding агентов и считает стоимость токенов.

Статья по теме

Главы

Ещё доклады: Daniel Kim

Страница спикера →

Похожие доклады