حقق See3D، أحدث نموذج للجيل ثلاثي الأبعاد أصدره معهد بكين تشييوان لأبحاث الذكاء الاصطناعي (BAAI)، طفرة تكنولوجية في استخدام مقاطع فيديو ضخمة على الإنترنت غير موسومة لإنشاء مشاهد ثلاثية الأبعاد. لا يحتاج هذا النموذج إلى الاعتماد على معلمات الكاميرا التقليدية والتعليقات التوضيحية ثلاثية الأبعاد، حيث يمكنه إنشاء صور متعددة العرض مع اتجاهات كاميرا يمكن التحكم فيها وهندسة متسقة باستخدام الأدلة المرئية فقط في الفيديو، مما يقلل بشكل كبير من تكلفة وصعوبة جمع البيانات ثلاثية الأبعاد. يدعم See3D مجموعة متنوعة من أساليب الإنشاء ثلاثي الأبعاد، بما في ذلك إنشاء العرض المستند إلى النص والعرض الفردي والعرض المتفرق، وهو قادر على التحرير ثلاثي الأبعاد والعرض الغوسي ويغطي نطاق تطبيقاته العديد من المجالات مثل العالم التفاعلي ثلاثي الأبعاد وإعادة الإعمار ثلاثي الأبعاد والعالم المفتوح يُظهر الجيل ثلاثي الأبعاد إمكانات تطبيق قوية. تم فتح الكود النموذجي والعرض التوضيحي لتسهيل المزيد من الاستكشاف والتطبيق من قبل الباحثين.
يعتمد تدريب نموذج See3D على مجموعة بيانات WebVi3D التي تحتوي على 16 مليون مقطع فيديو و320 مليون إطار من الصور، ومن خلال إضافة ضوضاء تعتمد على الوقت إلى بيانات الفيديو المقنعة، يتم تحقيق إنشاء ثلاثي الأبعاد بدون كاميرا. تكمن مزاياه في قابلية توسيع البيانات وإمكانية التحكم في الكاميرا والاتساق الهندسي ويمكنه إنشاء مشاهد تحت أي مسارات كاميرا معقدة والحفاظ على الاتساق الهندسي لعروض الإطار السابقة والتالية. توفر See3D أفكارًا جديدة لتطوير تقنية الجيل ثلاثي الأبعاد، والتي من المتوقع أن تعزز اهتمام مجتمع البحث ثلاثي الأبعاد ببيانات التعليقات التوضيحية واسعة النطاق الخالية من الكاميرا وتضييق الفجوة مع الحلول ثلاثية الأبعاد الحالية مغلقة المصدر. عنوان المشروع: https://vision.baai.ac.cn/see3d
من خلال التصميم الذكي، يحل نموذج See3D مشكلة التكلفة العالية لجمع البيانات ثلاثية الأبعاد التقليدية ويوفر حلاً أكثر ملاءمة وكفاءة لإنشاء محتوى ثلاثي الأبعاد. كما تشجع طبيعتها مفتوحة المصدر المزيد من الباحثين على المشاركة والترويج المشترك لتقدم تكنولوجيا الجيل ثلاثي الأبعاد. أعتقد أن ظهور See3D سيكون له تأثير عميق على مجال الرؤية ثلاثية الأبعاد.