· AI Engineer World's Fair 2025
EMMA от Waymo: как научить автомобили мыслить
Waymo's EMMA: Teaching Cars to Think - Jyh-Jing Hwang, Waymo
EMMA, построенная на Gemini, превращает видео с восьми камер и текстовую навигацию в траекторию движения без HD-карт и лидара.
- Самообучение на логах вождения — будущие позиции машины из записей поездок служат разметкой, поэтому обучению не нужны ручные метки траекторий.
- Рассуждение перед планом — модель сначала называет критичные объекты, их вероятное поведение и решение: ехать, уступить или притормозить. По словам спикера, такая цепочка рассуждений дала планировщик лучше специализированных Wayformer и MotionLM на Waymo Open Motion Dataset.
- Несколько задач в одной модели — 3D-детекция, оценка дорожного графа и ответы на вопросы о сцене обучаются вместе с планированием, а качество детекции, по словам авторов, близко к современным моделям.
- Симуляция на сгенерированном видео — кадры, созданные Veo 2, позволяют менять погоду и время суток. По наблюдениям авторов, планировщик хуже работает в дождь и ночью, что ожидаемо для модели только с камерами.
Кому полезно: тем, кто проверяет мультимодальные LLM на редких ситуациях, где ошибка стоит дорого, и строит для этого симуляцию.
Статья по теме
На какие вопросы отвечает доклад
Как мультимодальная LLM справляется с редкими опасными ситуациями на дороге?
Gemini правильно описал редкие сцены: стаю птиц, внезапно взлетевшую перед машиной, и скутериста, упавшего на мокрой дороге ночью, и предложил разумное поведение. По словам авторов, такие модели хорошо обобщают редкие события.
▶ 3:55Reasoning Gemini для редких опасных ситуаций на дорогеМожно ли обучать планировщик движения без ручной разметки, по обычным логам?
Да: будущие позиции автомобиля из логов вождения служат целевыми значениями, поэтому обучение самоконтролируемое и масштабируется. Модель работает только с камерами, без lidar и HD-карт, а маршрут получает из Google Maps.
▶ 6:30Архитектура EMMA, навигационные входы и будущие опорные точкиКак заставить модель вождения объяснять свои решения и повысить качество?
Авторы добавили chain-of-thought: модель сначала называет критичные объекты, затем их вероятное поведение и манёвр, и только потом выдаёт траекторию. По их словам, планировщик стал лучше специализированных моделей на Waymo Open Motion Dataset.
▶ 8:49nuScenes, датасеты Waymo и масштабирование мультизадачностиМожно ли в одной модели совмещать вождение, 3D-детекцию и разметку дорог?
Все задачи формулируются как текстовые промпты к одной vision language модели, и совместное обучение даёт 3D-детекцию, близкую по качеству к специализированным моделям на Waymo Open Dataset.
▶ 8:49nuScenes, датасеты Waymo и масштабирование мультизадачностиРастёт ли качество модели вождения при обучении на большем объёме данных?
По словам авторов, на наборе данных, примерно в сто раз большем публичных академических, perplexity планировщика продолжал снижаться с ростом объёма данных, то есть качество улучшалось.
▶ 8:49nuScenes, датасеты Waymo и масштабирование мультизадачностиКак тестировать модель вождения в симуляции до выкатки на дороги?
Авторы генерируют реалистичное видео с помощью Veo 2 и открытых генеративных моделей, меняя погоду и время суток. По их наблюдениям, качество модели ухудшается под дождём и ночью.
▶ 15:04Veo 2, сгенерированные сценарии вождения и перспективы исследований
Главы
Похожие доклады
Как Google DeepMind исследует следующий рубеж ИИ для Gemini
AI Engineer Europe 2026
Близко по содержанию
От VLM/VLA к embodied agents
AI Engineer World's Fair 2026
Близко по содержанию
Создание и запуск приложений на базе ИИ
AI Engineer Europe 2026
Близко по содержанию
Подробный разбор Gemma 4
AI Engineer Europe 2026
Близко по содержанию

