Обучение LLM с нуля на локальном компьютере
Training an LLM from Scratch, Locally
Небольшую GPT-подобную модель можно обучить с нуля на ноутбуке или в Colab, и на этом примере видно, как устроен трансформер и что говорит loss.
- Посимвольный токенизатор на 65 символов — эмбеддинги занимают около 25 тысяч параметров, а словарь GPT-2 на 50 тысяч дал бы около 19 миллионов, то есть больше всей модели. Для небольшого датасета спикер выбирает маленький словарь.
- Loss как диагностика — случайная модель стартует примерно с 4.17 (ln 65), а рост val loss при падающем train loss означает переобучение. В запуске спикера оно началось примерно на 2400 шаге.
- Расписание learning rate — warmup на 100 шагов, затем cosine decay до 5000 шагов с AdamW. По словам спикера, первые осмысленные результаты в Colab на T4 появляются примерно через 15 минут обучения.
- Декодирование — greedy decoding для LLM даёт скучный текст, поэтому спикер берёт temperature около 0.7 и top-k. Фиксированный seed нужен, чтобы результат воспроизводился.
Кому полезно: тем, кто хочет разобраться в устройстве трансформера на практике, прежде чем дообучать большую модель.
Главы
Похожие доклады
Всё, что я узнал об обучении передовых малых моделей
AI Engineer Europe 2026
Близко по содержанию
Современный post-training: подробный разбор
AI Engineer World's Fair 2026
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
Технические основы LLM на низком уровне
AI Engineer World's Fair 2024
Близко по содержанию
