← Каталог

· AI Engineer World's Fair 2025

EMMA от Waymo: как научить автомобили мыслить

Waymo's EMMA: Teaching Cars to Think - Jyh-Jing Hwang, Waymo

EMMA, построенная на Gemini, превращает видео с восьми камер и текстовую навигацию в траекторию движения без HD-карт и лидара.

  • Самообучение на логах вождения — будущие позиции машины из записей поездок служат разметкой, поэтому обучению не нужны ручные метки траекторий.
  • Рассуждение перед планом — модель сначала называет критичные объекты, их вероятное поведение и решение: ехать, уступить или притормозить. По словам спикера, такая цепочка рассуждений дала планировщик лучше специализированных Wayformer и MotionLM на Waymo Open Motion Dataset.
  • Несколько задач в одной модели — 3D-детекция, оценка дорожного графа и ответы на вопросы о сцене обучаются вместе с планированием, а качество детекции, по словам авторов, близко к современным моделям.
  • Симуляция на сгенерированном видео — кадры, созданные Veo 2, позволяют менять погоду и время суток. По наблюдениям авторов, планировщик хуже работает в дождь и ночью, что ожидаемо для модели только с камерами.

Кому полезно: тем, кто проверяет мультимодальные LLM на редких ситуациях, где ошибка стоит дорого, и строит для этого симуляцию.

Статья по теме

На какие вопросы отвечает доклад

  • Как мультимодальная LLM справляется с редкими опасными ситуациями на дороге?

    Gemini правильно описал редкие сцены: стаю птиц, внезапно взлетевшую перед машиной, и скутериста, упавшего на мокрой дороге ночью, и предложил разумное поведение. По словам авторов, такие модели хорошо обобщают редкие события.

    ▶ 3:55Reasoning Gemini для редких опасных ситуаций на дороге
  • Можно ли обучать планировщик движения без ручной разметки, по обычным логам?

    Да: будущие позиции автомобиля из логов вождения служат целевыми значениями, поэтому обучение самоконтролируемое и масштабируется. Модель работает только с камерами, без lidar и HD-карт, а маршрут получает из Google Maps.

    ▶ 6:30Архитектура EMMA, навигационные входы и будущие опорные точки
  • Как заставить модель вождения объяснять свои решения и повысить качество?

    Авторы добавили chain-of-thought: модель сначала называет критичные объекты, затем их вероятное поведение и манёвр, и только потом выдаёт траекторию. По их словам, планировщик стал лучше специализированных моделей на Waymo Open Motion Dataset.

    ▶ 8:49nuScenes, датасеты Waymo и масштабирование мультизадачности
  • Можно ли в одной модели совмещать вождение, 3D-детекцию и разметку дорог?

    Все задачи формулируются как текстовые промпты к одной vision language модели, и совместное обучение даёт 3D-детекцию, близкую по качеству к специализированным моделям на Waymo Open Dataset.

    ▶ 8:49nuScenes, датасеты Waymo и масштабирование мультизадачности
  • Растёт ли качество модели вождения при обучении на большем объёме данных?

    По словам авторов, на наборе данных, примерно в сто раз большем публичных академических, perplexity планировщика продолжал снижаться с ростом объёма данных, то есть качество улучшалось.

    ▶ 8:49nuScenes, датасеты Waymo и масштабирование мультизадачности
  • Как тестировать модель вождения в симуляции до выкатки на дороги?

    Авторы генерируют реалистичное видео с помощью Veo 2 и открытых генеративных моделей, меняя погоду и время суток. По их наблюдениям, качество модели ухудшается под дождём и ночью.

    ▶ 15:04Veo 2, сгенерированные сценарии вождения и перспективы исследований

Главы

Похожие доклады