← Каталог

· AI Engineer World's Fair 2026

От VLM/VLA к embodied agents

From VLM/VLA's to Embodied Agents — Armen Aghajanyan, Perceptron AI

Объединение восприятия, рассуждения и управления в одной модели, по словам спикера, позволяет заменить десятикратное количество данных телеуправления десятикратным объёмом видео-претрейна.

  • Маршрутизация визуальных токенов — роутер в каждом слое решает, какие токены обрабатывать, а какие пропускать; по словам спикера, без жёстких архитектурных приоров модель сама начинает концентрироваться на задаче, например на фруктах при запросе сегментировать фрукты.
  • Обучение на разреженном сигнале — вместо предсказания каждого пикселя модель предсказывает перцепты, важные для задачи, например кончики захвата манипулятора; авторы не раскрыли, как эти перцепты выбираются автоматически.
  • Детекция как агентная задача — модель масштабирует участки, меняет контраст и пишет код, пока не найдёт объект; спикер показывает, что так находится птица на сложном изображении.
  • Цена данных — телеуправление, по оценке спикера, стоит около 100 долларов в час, поэтому замена данных видео дешевле; на текущем объёме compute это держится, масштабирование продолжается.

Кому полезно: тем, кто строит робототехнические агенты с восприятием и управлением в одной модели и считает стоимость видео-токенов.

Главы

Похожие доклады