Путь к 5 миллионам токенов: преодоление барьеров в обучении на длинном контексте
Road to 5 Million Tokens: Breaking Barriers in Long Context Training — Max Ryabinin, Together AI
UPipe, который обрабатывает головы внимания группами, по словам авторов, позволяет обучать модели на 5 млн токенов на одном узле из восьми H100.
- Головы внимания группами — UPipe по очереди пересчитывает небольшие группы голов и переиспользует один и тот же буфер, поэтому память под активации падает. По словам авторов, на коротких контекстах пропускная способность при этом почти не страдает, а на масштабах 8B и 32B результаты близки к самым экономным реализациям.
- Сочетание приёмов — fully sharded data parallel, Ulysses context parallelism, activation checkpointing, выгрузка входов блоков на CPU и чанкование поэлементных операций вместе дают обучение Llama 3B на 3 млн токенов. По оценке спикера, activation checkpointing уменьшает использование активаций примерно в восемь раз.
- Профилирование — узкие места в памяти часто находятся там, где их не ждёшь, поэтому спикер советует смотреть на них через PyTorch Profiler. Подробные результаты опубликованы в статье авторов.
Кому полезно: тем, кто обучает модели с контекстом в сотни тысяч токенов и упирается в память под активации внимания.
Главы
Похожие доклады
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию
Ускорение обучения Mixture of Experts с помощью оптимизированной по rail-топологии сети InfiniBand в Crusoe Cloud
AI Engineer World's Fair 2024
Близко по содержанию
Уроки генерации 12 триллионов синтетических токенов
AI Engineer Code 2025
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
