· AI Engineer World's Fair 2026
С нуля до SOTA: обучение vision-модели на основе state-space с 3 млрд параметров
From Scratch to SOTA: Training a 3B State-Space Vision Model — Krishna Prasad Srinivasan, Sarvam
Небольшая state-space VLM на 3 млрд параметров, обученная с нуля, по словам авторов, обходит крупные модели в OCR для 22 индийских языков и английского.
- State-space вместо трансформера — при документах в 5–10 тысяч визуальных токенов на страницу compute трансформера растёт квадратично, а у SSM compute растёт линейно и память остаётся постоянной. Авторы выбрали блочный OCR с некоторой потерей recall ради стоимости инференса.
- Layout и порядок чтения отдельно — страница делится на блоки, раскладку и reading order задают отдельные модули, а VLM решает только задачу распознавания блока.
- RL с проверяемыми наградами — для детерминированного OCR награды считаются автоматически, например по character error rate и структуре таблиц; по словам авторов, так RLVR хорошо масштабируется.
- Данные для языков без разметки — для большинства из 22 языков размеченных данных нет, поэтому команда строила синтетику и пайплайны на реальных документах. Обучение шло в четыре этапа: 13 трлн токенов текста, 300 млн пар изображение-текст, 100 млн OCR-примеров и RL.
Кому полезно: тем, кто извлекает данные из сканов на индийских языках и думает о развёртывании OCR-модели on-prem.
Статья по теме
Главы
Похожие доклады
От обработки документов до agents: как AI-команды строят на их основе
AI Engineer World's Fair 2026
Близко по содержанию
Обучение LLM с нуля на локальном компьютере
AI Engineer Europe 2026
Близко по содержанию
OpenRAG: open source-стек для RAG
AI Engineer Europe 2026
Близко по содержанию
Moondream: как такая маленькая vision-модель так круто справляется?
AI Engineer World's Fair 2024
Близко по содержанию

