Как трансформеры наконец захватили компьютерное зрение
How Transformers Finally Ate Vision
Vision transformers обогнали свёрточные сети, потому что ViT-специфичное предобучение выучивает нужные пространственные свойства, а инфраструктура для LLM ускоряет сам attention.
- Предобучение заменяет архитектурные биасы — MAE, DINOv2 и DINOv3 учат ViT признакам, которые у CNN заложены в свёртку; по словам автора, linear probe на замороженных признаках DINOv3 почти догоняет обучение с учителем.
- FlashAttention меняет баланс скорости — Hiera показывал ускорение относительно ViT без FlashAttention, но при его подключении разрыв в скорости практически исчезает.
- Большой бэкбон неудобен для деплоя — SAM3 на 800 млн параметров работает около 300 мс на T4. По словам Roboflow, RF-DETR, построенный через neural architecture search на одном фундаментальном бэкбоне, даёт примерно 40x ускорения при той же точности, что дообученная SAM3, на наборе RF100-VL.
Кому полезно: тем, кто выбирает бэкбон для детекции или сегментации на edge-устройствах или при ограниченном бюджете на GPU.
Главы
Похожие доклады
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
120 тысяч игроков за неделю: уроки первого вирусного приложения на CLIP
AI Engineer Summit 2023
Близко по содержанию
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию
Как создавали MiniMax M3: разреженное внимание и нативная мультимодальность
Близко по содержанию
