← Каталог

· AI Engineer World's Fair 2024

Технические основы LLM на низком уровне

Low Level Technicals of LLMs

Сверка выходов каждого слоя с эталонной реализацией выявляет баги в открытых моделях, и самый заметный из них в Gemma — RoPE, посчитанный в float16.

  • Сверка по слоям — спикер сравнивает выход каждого слоя с эталонной реализацией DeepMind и строит логарифм L2-нормы ошибки. Так видно, какая правка действительно уменьшает расхождение, а какая нет.
  • RoPE в float16 — при низкой точности соседние токены получают одинаковые позиции, а индекс последней позиции выходит за границу контекста. По словам спикера, это дало самый большой скачок точности после исправления, и RoPE нужно считать в float32.
  • Ошибки в конфигах — в config.json Phi-3 окно sliding window стоит 2047 вместо 2048, а pad token совпадает с EOS, что нельзя делать. Такие ошибки спикер советует проверять в первую очередь.
  • Слияние QKV ломает LoRA — Phi-3 объединяет матрицы Q, K и V, и по словам спикера это уменьшает обучаемые веса в LoRA-адаптерах и снижает точность. Ускорение от слияния небольшое, поэтому матрицы лучше разделять.

Кому полезно: тем, кто дообучает открытые модели или переносит их реализации в свой стек и хочет проверить расхождения с эталоном.

Статья по теме

Главы

Ещё доклады: Daniel Han

Все 4 доклада →

Похожие доклады