Der Herausgeber von Downcodes erfuhr, dass Waymo kürzlich eine wichtige Entwicklung angekündigt hat: die Entwicklung eines neuen Trainingsmodells EMMA auf Basis von Googles multimodalem Large Language Model (MLLM) Gemini für die Entwicklung selbstfahrender Taxis. EMMA kann Sensordaten verarbeiten, die zukünftige Flugbahn autonomer Fahrzeuge generieren und Fahrzeugentscheidungen bei der Wegplanung und Hindernisvermeidung unterstützen. Dieser Durchbruch markiert die erste wichtige Anwendung von MLLM im Bereich des autonomen Fahrens und deutet darauf hin, dass sich die Anwendungsszenarien von LLM von Chat-Robotern, E-Mail-Management usw. auf neue Straßenumgebungen erweitern werden.
Das EMMA-Modell ist eines der ersten Anzeichen dafür, dass führende Unternehmen im autonomen Fahren planen, MLLMs in ihren Betrieben einzusetzen. Es zeigt, dass diese LLMs über ihre derzeitige Verwendung als Chatbots, E-Mail-Manager und Bildgeneratoren hinausgehen und ihren Weg in die völlig neue Umgebung finden können der Straße. Finden Sie die Anwendung.
Das Forschungsteam von Waymo sagt, dass MLLMs wie Gemini aus zwei Gründen interessante Lösungen für selbstfahrende Systeme bieten: Der Chatbot ist ein „Generalist“, der auf große Datenmengen aus dem Internet geschult ist und „Informationen liefern kann, die über das „reiche ‚Weltwissen‘“ hinausgehen Inhalte, die in gewöhnlichen Fahrtenprotokollen enthalten sind“; sie demonstrieren „hervorragende“ Denkfähigkeiten durch Techniken wie „Gedankenkettenschlussfolgerung“, die das menschliche Denken nachahmt, indem sie komplexe Aufgaben in eine Reihe logischer Schritte zerlegen.
Das EMMA-Modell von Waymo schneidet bei der Flugbahnvorhersage, der Objekterkennung und dem Verständnis von Straßenkarten gut ab, weist jedoch auch Einschränkungen auf, z. B. die Unfähigkeit, 3D-Sensoreingaben von Lidar oder Radar zu integrieren, und die Fähigkeit, nur eine kleine Anzahl von Bildframes gleichzeitig zu verarbeiten eine Zeit. Es bestehen auch Risiken bei der Verwendung von MLLM zum Trainieren selbstfahrender Taxis. Beispielsweise kann es passieren, dass das Modell halluziniert oder einfache Aufgaben nicht ausführen kann.
. Daher sind laut Waymo weitere Forschungsarbeiten erforderlich, um diese Probleme zu entschärfen und den Stand der Technik in der selbstfahrenden Modellarchitektur weiterzuentwickeln.
Obwohl das EMMA-Modell von Waymo einige Einschränkungen aufweist, sind seine technologischen Durchbrüche im Bereich des autonomen Fahrens dennoch beeindruckend. Ich glaube, dass uns die autonome Fahrtechnologie auf Basis von MLLM in Zukunft mit der kontinuierlichen Weiterentwicklung und Verbesserung der Technologie ein sichereres und bequemeres Reiseerlebnis bescheren wird. Der Herausgeber von Downcodes wird die weiteren Fortschritte von Waymo weiterhin im Auge behalten, also bleiben Sie dran!