Waymo использует мощную мультимодальную мультимодальную большую языковую модель Близнецов, чтобы революционизировать свои методы обучения такси с самостоятельным вождением. В основе этого прорыва лежит сквозная мультимодальная модель под названием EMMA, которая может более эффективно обрабатывать данные датчика, тем самым генерируя более точные прогнозы будущей траектории вождения. Этот шаг не только улучшает интеллект и безопасность системы автономного вождения Waymo, но и отмечает значительный скачок в применении моделей крупных языков в области автономного вождения, что указывает на то, что в будущем технология автономного вождения превзойдет традиционную модульную конструкцию и Будь умнее, развиваться в более независимом направлении.
Недавно Waymo сделал еще один важный шаг в области автономного вождения. Компания давно рассматривает свое сотрудничество с Google DeepMind как конкурентное преимущество и в настоящее время использует мультимодальную большую языковую модель Google Gemini, чтобы улучшить подготовку своих такси с самостоятельным вождением.
Waymo выпустила новую исследовательскую статью, представляющую «сквозную мультимодальную модель» под названием EMMA, которая способна обрабатывать данные датчика для получения будущей траектории управления автономными транспортными средствами. Это означает, что транспортные средства Waymo без водителя могут более разумно и эффективно принимать решения о вождении.
Важность этой новой технологии заключается не только в ее инновациях, но и в ее потенциале для изменения объема применений большинства крупных языковых моделей в настоящее время. Waymo хочет видеть MLLM как «гражданин 1 класса» своей автономной системы вождения, что означает, что будущее автономное вождение может сильно отличаться от нынешних чат -ботов или генераторов изображений.
В этой статье Waymo упомянул, что традиционные системы автономного вождения обычно разрабатывают конкретные «модули» для различных функций, включая восприятие, картирование, прогнозирование и планирование. Хотя этот подход добился некоторого прогресса в последние несколько лет, его ограничения также очевидны, особенно при работе с новыми и сложными средами. Waymo считает, что MLLM, такие как Близнецы, могут решить эти проблемы, потому что они обладают обширными «мировыми знаниями» и способны выполнять «рассуждения о цепном мышлении», чтобы имитировать логические рассуждения человека.
Модель EMMA была разработана, чтобы помочь самостоятельному вождению Ваймо в сложных условиях. Например, при столкновении с такими ситуациями, как животные или дорожные строительства, Эмма может помочь автомобилям без водителя найти лучший путь. Тем не менее, Waymo также поняла, что у Emma есть некоторые ограничения, такие как текущая неспособность обработать 3D -датчики из LiDAR или радар.
Исследования Waymo в этой области нуждаются в дальнейшей глубине, но они надеются, что это достижение вдохновит больше исследований для решения текущих проблем и содействия разработке технологий автономного вождения.
Ключевые моменты:
Waymo использует модель Google Gemini для разработки новой автономной системы обучения такси EMMA, чтобы улучшить возможности принятия решений.
Модель EMMA может обрабатывать сложные данные датчиков, помогая автомобилям без водителя разумно избегать препятствий.
Хотя у Эммы есть потенциал, Уэймо признает, что дальнейшие исследования все еще необходимы для преодоления его существующих ограничений.
Модель EMMA от Waymo представляет собой значительный скачок в технологии автономного вождения, которая использует большие языковые модели для обработки мультимодальных данных, чтобы проложить путь для более безопасных и умных систем автономного вождения в будущем. Хотя остаются проблемы, это исследование, несомненно, приносит новую надежду на будущее развитие области автономного вождения.