Waymo недавно объявила о крупном прорыве, разработав новую обучающую модель, основанную на многомодальной большой языковой модели (MLLM) Google (MLLM) для его самостоятельного вождения. Эта новая модель, называемая Emma (сквозная мультимодальная модель для автономного вождения), способна обрабатывать данные датчиков для получения будущих траекторий для автономных транспортных средств, помогая автомобилям без водителя решить, куда идти и как избежать препятствий.
Модель EMMA является одним из первых признаков того, что лидеры автономного вождения планируют использовать MLLMS в своих операциях, предполагая, что эти LLM могут избежать их текущего использования в качестве чат -ботов, менеджеров по электронной почте и генераторов изображений, а также в совершенно новой среде на дороге найдите применение в.
Исследовательская группа Waymo говорит, что MLLM, такие как Gemini, предоставляют интересные решения для автономных систем вождения по двум причинам: чат -боты - это «универсальный», который может предоставить больше, чем это после обучения на большом количестве данных, заполненных из Интернета » Знание контента, содержащегося в обычных журналах вождения;
Модель EMMA от Waymo хорошо работает в прогнозе траектории, обнаружении объектов и понимании дорожной карты, но также имеет такие ограничения, как неспособность интегрировать 3D -датчики из LIDAR или радара, и может обрабатывать только небольшое количество кадров изображений за раз. Использование MLLM для обучения такси с самостоятельным вождением также представляет риски, такие как модели могут испытывать галлюцинации или не выполнять простые задачи
Полем Таким образом, Waymo сказал, что необходимы дальнейшие исследования, чтобы облегчить эти проблемы и дальнейшее развитие новейших технологий в архитектуре автономного вождения.
Прорыв Waymo демонстрирует будущее направление развития технологии автономного вождения и приносит новую надежду и проблемы в отрасли.