Waymo baru-baru ini mengumumkan terobosan besar, mengembangkan model pelatihan baru berdasarkan Gemini Model Bahasa Multimodal (MLLM) Google untuk pengembangan taksi self-driving. Model baru ini, yang disebut EMMA (model multimodal end-to-end untuk mengemudi otonom), dapat memproses data sensor untuk menghasilkan lintasan di masa depan untuk kendaraan otonom, membantu mobil tanpa pengemudi memutuskan ke mana harus pergi dan bagaimana menghindari rintangan.
Model EMMA adalah salah satu tanda pertama bahwa para pemimpin dalam rencana mengemudi yang otonom untuk menggunakan MLLM dalam operasi mereka, menunjukkan bahwa LLM ini dapat lepas dari penggunaan mereka saat ini sebagai chatbots, manajer email dan generator gambar dan di lingkungan yang sama sekali baru di jalan temukan di aplikasi di.
Tim peneliti Waymo mengatakan MLLMS seperti Gemini memberikan solusi menarik untuk sistem mengemudi otonom karena dua alasan: chatbots adalah "generalis" yang dapat memberikan lebih dari itu setelah dilatih pada sejumlah besar data yang dirangkak dari internet. " Pengetahuan 'konten yang terkandung dalam log mengemudi biasa; mereka menunjukkan kemampuan penalaran "sangat baik" melalui teknologi seperti "penalaran rantai pemikiran", meniru penalaran manusia dengan menguraikan tugas -tugas kompleks menjadi serangkaian langkah logis.
Model EMMA Waymo berkinerja baik dalam prediksi lintasan, deteksi objek, dan pemahaman peta jalan, tetapi juga memiliki keterbatasan seperti ketidakmampuan untuk mengintegrasikan input sensor 3D dari lidar atau radar dan hanya dapat memproses sejumlah kecil bingkai gambar sekaligus. Menggunakan MLLM untuk melatih taksi self-driving juga menimbulkan risiko, seperti model mungkin mengalami halusinasi atau gagal menyelesaikan tugas sederhana
. Oleh karena itu, Waymo mengatakan penelitian lebih lanjut diperlukan untuk mengurangi masalah ini dan lebih lanjut mengembangkan teknologi terbaru dalam arsitektur model mengemudi otonom.
Terobosan Waymo menunjukkan arah pengembangan teknologi mengemudi yang otonom di masa depan dan membawa harapan dan tantangan baru bagi industri.