Всё, что я узнал об обучении передовых малых моделей
Everything I Learned Training Frontier Small Models
Маленькие модели для устройств не являются уменьшенными копиями больших: их архитектуру, обучение и борьбу с зацикливанием нужно строить отдельно.
- Архитектура под железо — short convolution в LFM2 по замерам на CPU, смартфоне и GPU оказалась быстрее sliding window attention, gated DeltaNet и GQA и расходует меньше памяти. Слой эмбеддингов занимает 19% параметров, у Gemma 3 270M — 63%.
- Зацикливание рассуждений — по словам автора, доля зацикленных ответов у LFM2.5-1.2B-Thinking после mid-training составляла 15–16%, а после RL почти исчезла. В DPO сэмплы с temperature 0, которые, как ожидали, зацикливаются, попадали в отвергнутые ответы, а RL использовал штраф за n-gram повторы.
- Обучение дольше оптимального — по словам автора, 350M-модель на 28 трлн токенов продолжает улучшаться, и по новым scaling laws её обучили на недостаточном числе токенов.
- Узкий фокус — для маленькой модели выгоднее покрыть несколько задач, например извлечение данных и вызов функций. Примеры из задач RL должны попадать и в холодный старт SFT, иначе RL плохо идёт.
Кому полезно: тем, кто выводит небольшие модели на телефоны, в автомобили и другие устройства без стабильного интернета.
Статья по теме
Главы
Ещё доклады: Maxime Labonne
Страница спикера →Всё, что нужно знать о fine-tuning и объединении LLM
AI Engineer World's Fair 2024
Похожие доклады
Ускорение AI на периферии
AI Engineer Europe 2026
Близко по содержанию
Масштабирование для задач с длинным горизонтом
AI Engineer World's Fair 2026
Близко по содержанию
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию

