Диффузия текста
Text Diffusion — Brendan O'Donoghue, Google DeepMind
Диффузия для текста даёт низкую латентность, потому что уточняет блок токенов за несколько проходов, и платит за это пропускной способностью на больших батчах.
- Латентность упирается в память — авторегрессионная модель читает веса и KV cache из памяти на каждый токен, а диффузия делает то же самое на каждом проходе и выдаёт сразу блок. По словам спикера, при 24 проходах на 256 токенов обращений к памяти примерно в десять раз меньше.
- Цена на больших батчах — несколько проходов над теми же данными быстрее упираются в вычисления, поэтому обслуживать такую модель дороже, и крупные модели на неё пока не переводят.
- Самокоррекция по будущим токенам — модель видит весь блок, поэтому в примере с арифметической задачей она исправила ранний неверный ответ после того, как дописала рассуждение.
- Адаптивные вычисления — число шагов модель выбирает сама: первые сто цифр числа pi заняли четыре шага, объяснение квантовой механики 31, а вопросы GPQA Diamond требовали больше всего шагов.
Кому полезно: тем, кто выбирает модель для задач с жёсткой латентностью, например для on-device сценариев или голосовых интерфейсов, где запросов в батче мало.
Статья по теме
Главы
Похожие доклады
Запуск Gemma 4 на iPhone: 40 токенов/с с MLX
AI Engineer Europe 2026
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Возможно, вам не нужны 50 шагов диффузии
AI Engineer Europe 2026
Близко по содержанию
Почему модели TTS теперь похожи на LLM
AI Engineer Europe 2026
Близко по содержанию

