← Каталог

· AI Engineer Europe 2026

Как трансформеры наконец захватили компьютерное зрение

How Transformers Finally Ate Vision

Vision transformers обогнали свёрточные сети, потому что ViT-специфичное предобучение выучивает нужные пространственные свойства, а инфраструктура для LLM ускоряет сам attention.

  • Предобучение заменяет архитектурные биасы — MAE, DINOv2 и DINOv3 учат ViT признакам, которые у CNN заложены в свёртку; по словам автора, linear probe на замороженных признаках DINOv3 почти догоняет обучение с учителем.
  • FlashAttention меняет баланс скорости — Hiera показывал ускорение относительно ViT без FlashAttention, но при его подключении разрыв в скорости практически исчезает.
  • Большой бэкбон неудобен для деплоя — SAM3 на 800 млн параметров работает около 300 мс на T4. По словам Roboflow, RF-DETR, построенный через neural architecture search на одном фундаментальном бэкбоне, даёт примерно 40x ускорения при той же точности, что дообученная SAM3, на наборе RF100-VL.

Кому полезно: тем, кто выбирает бэкбон для детекции или сегментации на edge-устройствах или при ограниченном бюджете на GPU.

Главы

Похожие доклады