Waymo a récemment annoncé une percée majeure, développant un nouveau modèle de formation basé sur le modèle multimodal de googodal (MLLM) de Google pour son développement de taxi autonome. Ce nouveau modèle, appelé Emma (modèle multimodal de bout en bout pour la conduite autonome), est en mesure de traiter les données des capteurs pour générer de futures trajectoires pour les véhicules autonomes, aidant les voitures sans conducteur à décider où aller et comment éviter les obstacles.
Le modèle EMMA est l'un des premiers signes que les leaders du plan de conduite autonome pour utiliser les MLLM dans leurs opérations, suggérant que ces LLM peuvent échapper à leurs utilisations actuelles comme chatbots, gestionnaires de messagerie et générateurs d'images et dans un tout nouvel environnement sur la route trouver le application dans.
L'équipe de recherche de Waymo affirme que les MLLM comme Gemini fournissent des solutions intéressantes pour les systèmes de conduite autonomes pour deux raisons: les chatbots sont un "généraliste" qui "peut fournir plus que celui après avoir été formé sur une grande quantité de données rampées sur Internet." Connaissance du contenu contenu dans les journaux de conduite ordinaires; ils démontrent une «excellente» capacité de raisonnement par le biais de technologies telles que le «raisonnement de la chaîne de réflexion», imitant le raisonnement humain en décomposant des tâches complexes en une série d'étapes logiques.
Le modèle EMMA de Waymo fonctionne bien dans la prédiction de la trajectoire, la détection d'objets et la compréhension de la feuille de route, mais a également des limitations telles que l'incapacité d'intégrer les entrées de capteur 3D de LiDAR ou radar et ne peut traiter qu'un petit nombre de trames d'image à la fois. L'utilisation de MLLM pour former des taxis autonomes présente également des risques, tels que les modèles peuvent ressentir des hallucinations ou ne pas effectuer de tâches simples
. Par conséquent, Waymo a déclaré que des recherches supplémentaires sont nécessaires pour atténuer ces problèmes et développer davantage les dernières technologies de l'architecture du modèle de conduite autonome.
La percée de Waymo démontre la direction future de développement de la technologie de conduite autonome et apporte un nouvel espoir et des défis à l'industrie.