علم محرر Downcodes أن Waymo أعلنت مؤخرًا عن تطور كبير: تطوير نموذج تدريب جديد EMMA استنادًا إلى نموذج Google متعدد الوسائط للغة الكبيرة (MLLM) Gemini لتطوير سيارات الأجرة ذاتية القيادة. يمكن لـ EMMA معالجة بيانات المستشعر، وإنشاء المسار المستقبلي للمركبات ذاتية القيادة، والمساعدة في اتخاذ القرار للمركبة في تخطيط المسار وتجنب العوائق. يمثل هذا الاختراق أول تطبيق مهم لـ MLLM في مجال القيادة الذاتية، ويشير إلى أن سيناريوهات تطبيق LLM سوف تتوسع من روبوتات الدردشة، وإدارة البريد الإلكتروني، وما إلى ذلك إلى بيئات الطرق الجديدة.
يعد نموذج EMMA واحدًا من أولى العلامات التي تشير إلى أن القادة في القيادة الذاتية يخططون لاستخدام MLLMs في عملياتهم، مما يوضح أن هؤلاء LLMs يمكنهم تجاوز استخداماتهم الحالية كروبوتات الدردشة ومديري البريد الإلكتروني ومولدات الصور ويجدون طريقهم إلى البيئة الجديدة تمامًا العثور على التطبيق.
يقول فريق البحث في Waymo إن MLLMs مثل Gemini يقدمون حلولًا مثيرة للاهتمام لأنظمة القيادة الذاتية لسببين: إن برنامج الدردشة الآلي هو "عام" مدرب على كميات كبيرة من البيانات المأخوذة من الإنترنت و"يمكنه تقديم معلومات تتجاوز "المعرفة العالمية" الغنية بالعالم". المحتوى الموجود في سجلات القيادة العادية"؛ فهي تُظهر قدرات تفكير "ممتازة" من خلال تقنيات مثل "الاستدلال المتسلسل الفكري"، الذي يحاكي التفكير البشري عن طريق تقسيم المهام المعقدة إلى سلسلة من الخطوات المنطقية.
يعمل نموذج EMMA الخاص بـ Waymo بشكل جيد في التنبؤ بالمسار واكتشاف الأشياء وفهم خريطة الطريق، ولكنه يعاني أيضًا من قيود، مثل عدم القدرة على دمج مدخلات المستشعر ثلاثي الأبعاد من جهاز Lidar أو الرادار، والقدرة على معالجة عدد صغير فقط من إطارات الصور في وقت. هناك أيضًا مخاطر في استخدام MLLM لتدريب سيارات الأجرة ذاتية القيادة، على سبيل المثال، قد يصاب النموذج بالهلوسة أو يكون غير قادر على إكمال المهام البسيطة.
. ونتيجة لذلك، تقول Waymo أن هناك حاجة إلى مزيد من الأبحاث للتخفيف من هذه المشكلات ومواصلة تطوير أحدث ما توصلت إليه هندسة النماذج ذاتية القيادة.
على الرغم من أن نموذج EMMA الخاص بـ Waymo به بعض القيود، إلا أن اختراقاته التكنولوجية في مجال القيادة الذاتية لا تزال مثيرة للإعجاب. في المستقبل، مع التطوير والتحسين المستمر للتكنولوجيا، أعتقد أن تقنية القيادة الذاتية القائمة على MLLM ستوفر لنا تجربة سفر أكثر أمانًا وملاءمة. سيستمر محرر Downcodes في الاهتمام بتقدم متابعة Waymo، لذا ترقبوا ذلك!