← Каталог

· AI Engineer Europe 2026

Путь к 5 миллионам токенов: преодоление барьеров в обучении на длинном контексте

Road to 5 Million Tokens: Breaking Barriers in Long Context Training — Max Ryabinin, Together AI

UPipe, который обрабатывает головы внимания группами, по словам авторов, позволяет обучать модели на 5 млн токенов на одном узле из восьми H100.

  • Головы внимания группами — UPipe по очереди пересчитывает небольшие группы голов и переиспользует один и тот же буфер, поэтому память под активации падает. По словам авторов, на коротких контекстах пропускная способность при этом почти не страдает, а на масштабах 8B и 32B результаты близки к самым экономным реализациям.
  • Сочетание приёмов — fully sharded data parallel, Ulysses context parallelism, activation checkpointing, выгрузка входов блоков на CPU и чанкование поэлементных операций вместе дают обучение Llama 3B на 3 млн токенов. По оценке спикера, activation checkpointing уменьшает использование активаций примерно в восемь раз.
  • Профилирование — узкие места в памяти часто находятся там, где их не ждёшь, поэтому спикер советует смотреть на них через PyTorch Profiler. Подробные результаты опубликованы в статье авторов.

Кому полезно: тем, кто обучает модели с контекстом в сотни тысяч токенов и упирается в память под активации внимания.

Главы

Похожие доклады