Homa: конец TCP для AI-кластеров
Homa: The End of TCP for AI Clusters — John Ousterhout, Stanford
Хвостовая задержка мелких сообщений тормозит AI-нагрузки, и транспорт Homa по словам автора снижает её примерно в 13 раз относительно TCP.
- Простой GPU на синхронизации — один медленный обмен между узлами останавливает всю фазу вычислений; когда фазы сокращаются до миллисекунд, ожидание синхронизации съедает заметную долю GPU-времени.
- Причины хвостовой задержки — incast на последнем хопе, sender-driven congestion control с запаздывающим сигналом и head-of-line blocking в байтовом потоке TCP.
- Receiver-driven grants — получатель знает длину сообщения с первого пакета, выдаёт отправителю grant на каждый следующий блок и первыми пропускает короткие сообщения (SRPT), а коммутатор ставит их в высокоприоритетные очереди.
- Бенчмарк и код — в смешанной нагрузке P99 коротких сообщений у Homa меньше 100 микросекунд против более 1 мс у TCP, а самые длинные сообщения быстрее почти вдвое; это бенчмарк, а не сквозной замер AI-приложений. Модуль ядра Linux доступен на GitHub, upstream в процессе.
Кому полезно: тем, кто в инференсе или агентных системах видит, что мелкие обмены между узлами ограничивают пропускную способность.
На какие вопросы отвечает доклад
Почему задержка коротких сообщений растёт, когда в сети одновременно идут большие передачи?
Incast перегружает последний хоп к получателю: короткое сообщение стоит в очереди egress-порта top-of-rack коммутатора за большими пакетами, а при переполнении буфера возникают потери и повторные передачи.
▶ 6:03Incast и очереди на последнем переходе к получателюПочему одна медленная синхронизация между узлами останавливает GPU в распределённом инференсе?
Все узлы ждут завершения обмена перед следующим этапом вычислений, поэтому один долгий обмен останавливает весь процесс. Когда фазы вычислений сокращаются до миллисекунд, время синхронизации становится заметной долей простоя.
▶ 4:24Синхронизация останавливает GPU по мере сокращения вычислительных фазПочему congestion control на стороне отправителя плохо справляется с перегрузкой в дата-центре?
Отправитель узнаёт о перегрузке с задержкой, получая один бит ECN-метки через подтверждения, поэтому скорость колеблется между излишком и недостатком. По словам спикера, задача решается много лет, но проблема в самом подходе.
▶ 7:10Управление перегрузкой отправителя: потери, обратная связь ECN и задержка управленияПочему в TCP короткое сообщение может ждать за большими, хотя отправлено позже них?
TCP превращает сообщения в один байтовый поток без границ, поэтому короткое сообщение попадает за большие в очередь, и приоритизировать его нельзя. Это head-of-line blocking, которое даёт хвостовые задержки.
▶ 10:05Потоки байтов и блокировка начала очередиКак обойти очередь из больших сообщений, чтобы короткие запросы проходили быстрее?
Протокол Homa ставит короткие сообщения в более приоритетные очереди коммутатора, а получатель через grant-пакеты выдаёт право на отправку по SRPT. Короткие пакеты обгоняют уже стоящие в очереди длинные.
▶ 14:57Приоритетные очереди коммутатора обходят очереди крупных сообщенийНасколько хвостовая задержка коротких RPC на смешанной нагрузке отличается между Homa и TCP?
В бенчмарке спикера P99 для коротких сообщений у TCP превышает миллисекунду, у Homa меньше 100 микросекунд, то есть примерно в 13 раз. Для самых длинных сообщений Homa, по его словам, почти вдвое лучше TCP.
▶ 15:52Тест производительности: Homa и TCP на сообщениях разного размера
Главы
Похожие доклады
Ускорение обучения Mixture of Experts с помощью оптимизированной по rail-топологии сети InfiniBand в Crusoe Cloud
AI Engineer World's Fair 2024
Близко по содержанию
Как сдвинуть границу Парето в инференсе
AI Engineer World's Fair 2025
Близко по содержанию
От 15% до 90% загрузки GPU: исправьте конвейер данных, а не модель
AI Engineer World's Fair 2026
Близко по содержанию
Маршрутизация с учётом KV cache и разделение prefill/decode в Kubernetes
AI Engineer World's Fair 2026
Близко по содержанию
