← Каталог

· AI Engineer Europe 2026

Обучение LLM с нуля на локальном компьютере

Training an LLM from Scratch, Locally

Небольшую GPT-подобную модель можно обучить с нуля на ноутбуке или в Colab, и на этом примере видно, как устроен трансформер и что говорит loss.

  • Посимвольный токенизатор на 65 символов — эмбеддинги занимают около 25 тысяч параметров, а словарь GPT-2 на 50 тысяч дал бы около 19 миллионов, то есть больше всей модели. Для небольшого датасета спикер выбирает маленький словарь.
  • Loss как диагностика — случайная модель стартует примерно с 4.17 (ln 65), а рост val loss при падающем train loss означает переобучение. В запуске спикера оно началось примерно на 2400 шаге.
  • Расписание learning rate — warmup на 100 шагов, затем cosine decay до 5000 шагов с AdamW. По словам спикера, первые осмысленные результаты в Colab на T4 появляются примерно через 15 минут обучения.
  • Декодирование — greedy decoding для LLM даёт скучный текст, поэтому спикер берёт temperature около 0.7 и top-k. Фиксированный seed нужен, чтобы результат воспроизводился.

Кому полезно: тем, кто хочет разобраться в устройстве трансформера на практике, прежде чем дообучать большую модель.

Главы

Похожие доклады