← Каталог

· AI Engineer World's Fair 2026

С нуля до SOTA: обучение vision-модели на основе state-space с 3 млрд параметров

From Scratch to SOTA: Training a 3B State-Space Vision Model — Krishna Prasad Srinivasan, Sarvam

Небольшая state-space VLM на 3 млрд параметров, обученная с нуля, по словам авторов, обходит крупные модели в OCR для 22 индийских языков и английского.

  • State-space вместо трансформера — при документах в 5–10 тысяч визуальных токенов на страницу compute трансформера растёт квадратично, а у SSM compute растёт линейно и память остаётся постоянной. Авторы выбрали блочный OCR с некоторой потерей recall ради стоимости инференса.
  • Layout и порядок чтения отдельно — страница делится на блоки, раскладку и reading order задают отдельные модули, а VLM решает только задачу распознавания блока.
  • RL с проверяемыми наградами — для детерминированного OCR награды считаются автоматически, например по character error rate и структуре таблиц; по словам авторов, так RLVR хорошо масштабируется.
  • Данные для языков без разметки — для большинства из 22 языков размеченных данных нет, поэтому команда строила синтетику и пайплайны на реальных документах. Обучение шло в четыре этапа: 13 трлн токенов текста, 300 млн пар изображение-текст, 100 млн OCR-примеров и RL.

Кому полезно: тем, кто извлекает данные из сканов на индийских языках и думает о развёртывании OCR-модели on-prem.

Статья по теме

Главы

Похожие доклады