· AI Engineer World's Fair 2026
От VLM/VLA к embodied agents
From VLM/VLA's to Embodied Agents — Armen Aghajanyan, Perceptron AI
Объединение восприятия, рассуждения и управления в одной модели, по словам спикера, позволяет заменить десятикратное количество данных телеуправления десятикратным объёмом видео-претрейна.
- Маршрутизация визуальных токенов — роутер в каждом слое решает, какие токены обрабатывать, а какие пропускать; по словам спикера, без жёстких архитектурных приоров модель сама начинает концентрироваться на задаче, например на фруктах при запросе сегментировать фрукты.
- Обучение на разреженном сигнале — вместо предсказания каждого пикселя модель предсказывает перцепты, важные для задачи, например кончики захвата манипулятора; авторы не раскрыли, как эти перцепты выбираются автоматически.
- Детекция как агентная задача — модель масштабирует участки, меняет контраст и пишет код, пока не найдёт объект; спикер показывает, что так находится птица на сложном изображении.
- Цена данных — телеуправление, по оценке спикера, стоит около 100 долларов в час, поэтому замена данных видео дешевле; на текущем объёме compute это держится, масштабирование продолжается.
Кому полезно: тем, кто строит робототехнические агенты с восприятием и управлением в одной модели и считает стоимость видео-токенов.
Главы
Похожие доклады
Робототехника: почему именно сейчас?
Jost Tobias Springenberg, Quan Vuong
AI Engineer World's Fair 2025
Близко по содержанию
Следующее узкое место Physical AI — поиск подходящих видео
AI Engineer World's Fair 2026
Близко по содержанию
EMMA от Waymo: как научить автомобили мыслить
AI Engineer World's Fair 2025
Близко по содержанию
Робототехника застряла на месте на 70 лет
AI Engineer World's Fair 2026
Близко по содержанию
