Редактор Downcodes узнал, что Waymo недавно объявила о важном развитии: разработке новой модели обучения EMMA на основе мультимодальной модели большого языка Google (MLLM) Gemini для разработки беспилотных такси. EMMA может обрабатывать данные датчиков, генерировать будущую траекторию беспилотных транспортных средств и помогать транспортному средству принимать решения при планировании пути и обходе препятствий. Этот прорыв знаменует собой первое важное применение MLLM в области автономного вождения и указывает на то, что сценарии применения LLM будут расширяться от чат-роботов, управления электронной почтой и т. д. до новых дорожных сред.
Модель EMMA является одним из первых признаков того, что лидеры в области автономного вождения планируют использовать MLLM в своей деятельности, показывая, что эти LLM могут выйти за рамки своего текущего использования в качестве чат-ботов, менеджеров электронной почты и генераторов изображений и найти свой путь в совершенно новую среду. дороги. Найдите приложение.
Исследовательская группа Waymo утверждает, что MLLM, такие как Gemini, предлагают интересные решения для систем беспилотного вождения по двум причинам: чат-бот — это «универсал», обученный работе с большими объемами данных, извлеченных из Интернета, и «может предоставить информацию, выходящую за рамки «богатых мировых знаний» о содержание, содержащееся в обычных журналах вождения»; они демонстрируют «отличные» способности к рассуждению с помощью таких методов, как «рассуждение по цепочке мыслей», которое имитирует человеческое мышление, разбивая сложные задачи на ряд логических шагов.
Модель EMMA Waymo хорошо работает при прогнозировании траектории, обнаружении объектов и понимании дорожной карты, но у нее также есть ограничения, такие как невозможность интеграции входных данных 3D-датчиков с лидара или радара, а также способность обрабатывать только небольшое количество кадров изображения за один раз. время. Существуют также риски в использовании MLLM для обучения беспилотных такси. Например, модель может галлюцинировать или быть неспособной выполнять простые задачи.
. В результате, по словам Уэймо, необходимы дальнейшие исследования для смягчения этих проблем и дальнейшего развития современной архитектуры моделей беспилотных автомобилей.
Хотя модель EMMA Waymo имеет некоторые ограничения, ее технологические прорывы в области автономного вождения по-прежнему впечатляют. Я считаю, что в будущем, благодаря постоянному развитию и совершенствованию технологий, технология автономного вождения, основанная на MLLM, принесет нам более безопасные и удобные путешествия. Редактор Downcodes продолжит следить за дальнейшим прогрессом Waymo, так что следите за обновлениями!