أصدر Tencent AI Lab وARC Lab التابع لـ Tencent PCG إطارًا جديدًا يسمى StereoCrafter، حيث يمكن لهذه التقنية تحويل مقاطع الفيديو العادية ثنائية الأبعاد إلى مقاطع فيديو ثلاثية الأبعاد مجسمة عالية الدقة، مما يؤدي إلى تغييرات ثورية في التجربة الغامرة. يستخدم StereoCrafter تقنية التعلم العميق للتغلب على قيود طرق تحويل الفيديو ثلاثية الأبعاد التقليدية، وتحسين تأثير التوليد بشكل كبير، ويمكنه التكيف مع متطلبات الدقة العالية لأجهزة العرض المختلفة لتلبية الطلب المتزايد على المحتوى ثلاثي الأبعاد.
في الآونة الأخيرة، أطلق Tencent AI Lab و ARC Lab التابع لـ Tencent PCG بشكل مشترك إطارًا جديدًا يسمى StereoCrafter، والذي يمكنه تحويل مقاطع الفيديو العادية ثنائية الأبعاد إلى مقاطع فيديو مجسمة ثلاثية الأبعاد عالية الدقة.
ويستجيب هذا الابتكار للطلب المتزايد على المحتوى ثلاثي الأبعاد، خاصة في مجال التجارب الغامرة. يستفيد StereoCrafter بشكل كامل من مزايا النموذج الأساسي، ويتغلب على قيود طرق التحويل التقليدية، ويحسن تأثير التوليد بشكل كبير، ويضمن أن المحتوى الذي تم إنشاؤه يمكن أن يلبي متطلبات الدقة العالية لأجهزة العرض المختلفة.
ينقسم جوهر النظام إلى خطوتين رئيسيتين. الخطوة الأولى هي إعادة رسم خريطة الفيديو بناءً على معلومات متعمقة، واستخراج معلومات الحجب وإجراء تحويل الفيديو في نفس الوقت، والخطوة الثانية هي إصلاح الفيديو المجسم. يستخدم النظام نموذجًا مستقرًا لنشر الفيديو تم تدريبه مسبقًا كأساس ويقدم بروتوكول ضبط دقيق لمهمة رسم الفيديو المجسم. ومن أجل التعامل مع مدخلات الفيديو بأطوال ودرجات دقة مختلفة، استكشف الفريق أيضًا استراتيجيات الانحدار الذاتي وتقنيات معالجة التقطيع لضمان قدرة النظام على التكيف بمرونة مع ظروف الإدخال المختلفة.
لدعم التدريب، قام الفريق ببناء خط أنابيب متطور لمعالجة البيانات أدى إلى إنشاء مجموعات بيانات واسعة النطاق وعالية الجودة. أثناء عملية بناء مجموعة البيانات، اختار فريق البحث من بين عدد كبير من مقاطع الفيديو المجسمة وقام بإنشاء عمق الفيديو المقابل، وقام بتحويل معلومات الفيديو والإطباق للتأكد من أن الفيديو الموجود على اليمين يعمل كمعيار حقيقي. توفر هذه الأساليب المبتكرة حلولاً عملية لتحويل مقاطع الفيديو ثنائية الأبعاد إلى مقاطع فيديو ثلاثية الأبعاد، مما يسمح لـ Apple Vision Pro وأجهزة العرض ثلاثية الأبعاد الأخرى بتقديم تجربة غامرة أكثر إثارة.
لا يعد StereoCrafter طفرة تكنولوجية فحسب، بل إنه يجلب أيضًا تغييرات محتملة في طريقة التعامل مع الوسائط الرقمية، مما قد يغير الطريقة التي نشاهد بها المحتوى الرقمي ونختبره.
مدخل المشروع: https://stereocrafter.github.io/
أبرز النقاط:
يستخدم StereoCrafter تقنية جديدة لتحويل مقاطع الفيديو ثنائية الأبعاد بكفاءة إلى مقاطع فيديو ثلاثية الأبعاد مجسمة غامرة.
ينقسم النظام إلى خطوتين رئيسيتين: إعادة بناء الفيديو العميق وإصلاح الفيديو المجسم لتحسين تأثير التوليد.
قام فريق البحث ببناء مجموعات بيانات عالية الجودة لدعم تدريب الخوارزميات وضمان جودة المخرجات.
يمثل ظهور StereoCrafter قفزة كبيرة في تقنية تحويل الفيديو من ثنائي الأبعاد إلى ثلاثي الأبعاد. ستؤدي كفاءة التحويل الفعالة وجودة الإخراج عالية الدقة إلى إثراء إنشاء واستهلاك المحتوى ثلاثي الأبعاد بشكل كبير، مما يوفر للمستخدمين تجربة سمعية وبصرية غامرة. ومن المتوقع في المستقبل أن يتم استخدام هذه التقنية على نطاق واسع في الأفلام والألعاب والواقع الافتراضي وغيرها من المجالات.