← Каталог

· AI Engineer Europe 2026

Диффузия текста

Text Diffusion — Brendan O'Donoghue, Google DeepMind

Диффузия для текста даёт низкую латентность, потому что уточняет блок токенов за несколько проходов, и платит за это пропускной способностью на больших батчах.

  • Латентность упирается в память — авторегрессионная модель читает веса и KV cache из памяти на каждый токен, а диффузия делает то же самое на каждом проходе и выдаёт сразу блок. По словам спикера, при 24 проходах на 256 токенов обращений к памяти примерно в десять раз меньше.
  • Цена на больших батчах — несколько проходов над теми же данными быстрее упираются в вычисления, поэтому обслуживать такую модель дороже, и крупные модели на неё пока не переводят.
  • Самокоррекция по будущим токенам — модель видит весь блок, поэтому в примере с арифметической задачей она исправила ранний неверный ответ после того, как дописала рассуждение.
  • Адаптивные вычисления — число шагов модель выбирает сама: первые сто цифр числа pi заняли четыре шага, объяснение квантовой механики 31, а вопросы GPQA Diamond требовали больше всего шагов.

Кому полезно: тем, кто выбирает модель для задач с жёсткой латентностью, например для on-device сценариев или голосовых интерфейсов, где запросов в батче мало.

Статья по теме

Главы

Похожие доклады