· AI Engineer World's Fair 2024
Технические основы LLM на низком уровне
Low Level Technicals of LLMs
Сверка выходов каждого слоя с эталонной реализацией выявляет баги в открытых моделях, и самый заметный из них в Gemma — RoPE, посчитанный в float16.
- Сверка по слоям — спикер сравнивает выход каждого слоя с эталонной реализацией DeepMind и строит логарифм L2-нормы ошибки. Так видно, какая правка действительно уменьшает расхождение, а какая нет.
- RoPE в float16 — при низкой точности соседние токены получают одинаковые позиции, а индекс последней позиции выходит за границу контекста. По словам спикера, это дало самый большой скачок точности после исправления, и RoPE нужно считать в float32.
- Ошибки в конфигах — в config.json Phi-3 окно sliding window стоит 2047 вместо 2048, а pad token совпадает с EOS, что нельзя делать. Такие ошибки спикер советует проверять в первую очередь.
- Слияние QKV ломает LoRA — Phi-3 объединяет матрицы Q, K и V, и по словам спикера это уменьшает обучаемые веса в LoRA-адаптерах и снижает точность. Ускорение от слияния небольшое, поэтому матрицы лучше разделять.
Кому полезно: тем, кто дообучает открытые модели или переносит их реализации в свой стек и хочет проверить расхождения с эталоном.
Статья по теме
Главы
Ещё доклады: Daniel Han
Все 4 доклада →Исправляем ошибки в Gemma, Llama и Phi-3
AI Engineer World's Fair 2024
Сжатие моделей для edge-устройств
Daniel Han, Merve Noyan, Chris Alexiuk, Asma Beevi, Parth Sareen
AI Engineer World's Fair 2026
Обучение с подкреплением, вычислительные ядра, reasoning, quantization и agents
AI Engineer World's Fair 2025
Похожие доклады
Специальные темы: kernels, RL и reward hacking в агентах
AI Engineer World's Fair 2026
Тот же спикер: Daniel Han
2025 год в мире LLM на примере пеликанов на велосипедах
AI Engineer World's Fair 2025
Близко по содержанию
Оптимизация инференса LLM: от теории до экономичного развертывания
AI Engineer World's Fair 2024
Близко по содержанию

