← Каталог

Homa: конец TCP для AI-кластеров

Homa: The End of TCP for AI Clusters — John Ousterhout, Stanford

Хвостовая задержка мелких сообщений тормозит AI-нагрузки, и транспорт Homa по словам автора снижает её примерно в 13 раз относительно TCP.

  • Простой GPU на синхронизации — один медленный обмен между узлами останавливает всю фазу вычислений; когда фазы сокращаются до миллисекунд, ожидание синхронизации съедает заметную долю GPU-времени.
  • Причины хвостовой задержки — incast на последнем хопе, sender-driven congestion control с запаздывающим сигналом и head-of-line blocking в байтовом потоке TCP.
  • Receiver-driven grants — получатель знает длину сообщения с первого пакета, выдаёт отправителю grant на каждый следующий блок и первыми пропускает короткие сообщения (SRPT), а коммутатор ставит их в высокоприоритетные очереди.
  • Бенчмарк и код — в смешанной нагрузке P99 коротких сообщений у Homa меньше 100 микросекунд против более 1 мс у TCP, а самые длинные сообщения быстрее почти вдвое; это бенчмарк, а не сквозной замер AI-приложений. Модуль ядра Linux доступен на GitHub, upstream в процессе.

Кому полезно: тем, кто в инференсе или агентных системах видит, что мелкие обмены между узлами ограничивают пропускную способность.

На какие вопросы отвечает доклад

  • Почему задержка коротких сообщений растёт, когда в сети одновременно идут большие передачи?

    Incast перегружает последний хоп к получателю: короткое сообщение стоит в очереди egress-порта top-of-rack коммутатора за большими пакетами, а при переполнении буфера возникают потери и повторные передачи.

    ▶ 6:03Incast и очереди на последнем переходе к получателю
  • Почему одна медленная синхронизация между узлами останавливает GPU в распределённом инференсе?

    Все узлы ждут завершения обмена перед следующим этапом вычислений, поэтому один долгий обмен останавливает весь процесс. Когда фазы вычислений сокращаются до миллисекунд, время синхронизации становится заметной долей простоя.

    ▶ 4:24Синхронизация останавливает GPU по мере сокращения вычислительных фаз
  • Почему congestion control на стороне отправителя плохо справляется с перегрузкой в дата-центре?

    Отправитель узнаёт о перегрузке с задержкой, получая один бит ECN-метки через подтверждения, поэтому скорость колеблется между излишком и недостатком. По словам спикера, задача решается много лет, но проблема в самом подходе.

    ▶ 7:10Управление перегрузкой отправителя: потери, обратная связь ECN и задержка управления
  • Почему в TCP короткое сообщение может ждать за большими, хотя отправлено позже них?

    TCP превращает сообщения в один байтовый поток без границ, поэтому короткое сообщение попадает за большие в очередь, и приоритизировать его нельзя. Это head-of-line blocking, которое даёт хвостовые задержки.

    ▶ 10:05Потоки байтов и блокировка начала очереди
  • Как обойти очередь из больших сообщений, чтобы короткие запросы проходили быстрее?

    Протокол Homa ставит короткие сообщения в более приоритетные очереди коммутатора, а получатель через grant-пакеты выдаёт право на отправку по SRPT. Короткие пакеты обгоняют уже стоящие в очереди длинные.

    ▶ 14:57Приоритетные очереди коммутатора обходят очереди крупных сообщений
  • Насколько хвостовая задержка коротких RPC на смешанной нагрузке отличается между Homa и TCP?

    В бенчмарке спикера P99 для коротких сообщений у TCP превышает миллисекунду, у Homa меньше 100 микросекунд, то есть примерно в 13 раз. Для самых длинных сообщений Homa, по его словам, почти вдвое лучше TCP.

    ▶ 15:52Тест производительности: Homa и TCP на сообщениях разного размера

Главы

Похожие доклады