أصدر فريق بحث في جامعة كارنيجي ميلون مؤخرًا تقنية متقدمة - DressRecon، والتي يمكنها إعادة بناء نموذج ثلاثي الأبعاد ومفصل ومتناسق للجسم البشري من فيديو أحادي العين. يختلف DressRecon عن أساليب إعادة بناء جسم الإنسان السابقة التي تتطلب ملابس ضيقة أو بيانات متعددة المشاهدة، ويمكنه التعامل مع المشاهد التي ترتدي ملابس فضفاضة أو حتى يحمل أشياء، مما يوسع نطاق التطبيقات بشكل كبير ويجلب الابتكار إلى مجالات مثل إنشاء الصور الافتراضية وإنتاج الرسوم المتحركة. سيمنحك محرر Downcodes فهمًا متعمقًا لهذه التقنية الرائعة.
مؤخرًا، أصدر فريق بحث في جامعة كارنيجي ميلون تقنية جديدة تسمى "DressRecon" تهدف إلى إعادة بناء نموذج بشري متسق مع الزمن من فيديو أحادي العين. إن الشيء العظيم في DressRecon هو أنه لا يمكنك فقط إدخال مقطع فيديو لإنشاء نموذج ثلاثي الأبعاد، بل يمكنه أيضًا استعادة التفاصيل الدقيقة مثل الملابس المعقدة والأشياء المحمولة باليد.
هذه التقنية مناسبة بشكل خاص للسيناريوهات التي ترتدي فيها ملابس فضفاضة أو تتفاعل مع أشياء محمولة باليد، مما يكسر قيود التقنيات السابقة. في الماضي، كانت إعادة بناء جسم الإنسان تتطلب عادة ارتداء ملابس ضيقة، أو تتطلب معايرة متعددة الرؤية لالتقاط البيانات، أو حتى المسح الضوئي الشخصي، والذي كان من الصعب جمعه على نطاق واسع.
يتمثل ابتكار "DressRecon" في أنه يجمع بين المعرفة العامة المسبقة بشكل جسم الإنسان وتشوه الجسم الخاص بالفيديو، ويمكن تحسينه داخل مقطع فيديو.
جوهر هذه التقنية هو تعلم نموذج ضمني عصبي يمكنه التعامل مع تشوه الجسم والملابس بشكل منفصل وإنشاء طبقات نموذج الحركة بشكل منفصل.
من أجل التقاط السمات الهندسية الدقيقة للملابس، استخدم فريق البحث المعرفة السابقة بناءً على الصور، بما في ذلك وضعية الإنسان، والأسطح الطبيعية، والتدفق البصري. توفر هذه المعلومات دعمًا إضافيًا أثناء عملية التحسين، مما يجعل تأثير إعادة البناء أكثر واقعية.
بإمكان DressRecon استخراج نماذج ثلاثية الأبعاد عالية الدقة من إدخال فيديو واحد، ويمكن أيضًا تحسينها إلى نماذج غاوسية ثلاثية الأبعاد واضحة لتحسين جودة العرض ودعم التصور التفاعلي.
أظهر الباحثون تأثيرات إعادة البناء ثلاثية الأبعاد عالية الدقة التي يمكن أن يحققها DressRecon في بعض مجموعات بيانات تشوه الملابس الصعبة وتفاعل الكائنات.
بالإضافة إلى ذلك، يمكن عرض الصورة البشرية الافتراضية المعاد بناؤها من أي زاوية، مما يظهر تأثيرًا بصريًا مؤثرًا للغاية. قام الفريق أيضًا بمقارنة أداء DressRecon مع العديد من التقنيات الأساسية في إعادة بناء الشكل. وأظهرت النتائج أن DressRecon أظهر دقة أعلى عند معالجة الهياكل المشوهة المعقدة.
مدخل المشروع: https://jefftan969.github.io/dressrecon/
تسليط الضوء على:
أطلق فريق البحث تقنية DressRecon لتحقيق إعادة بناء جسم الإنسان عالي الجودة من خلال فيديو أحادي العين، مناسب بشكل خاص للمشاهد ذات الملابس الفضفاضة والأشياء المحمولة باليد.
باستخدام النماذج الضمنية العصبية، تتعامل هذه التقنية مع تشوهات الجسم والملابس بشكل منفصل، وتلتقط ميزات هندسية دقيقة بمساعدة المعرفة المسبقة بقاعدة الصورة.
لا يمكن لنتائج إعادة الإعمار إنشاء نماذج ثلاثية الأبعاد عالية الدقة فحسب، بل يمكنها أيضًا دعم العرض من أي زاوية، مما يؤدي إلى تحسين تجربة التصور.
إن ظهور تقنية DressRecon سيعزز بلا شك تطوير تقنية نمذجة الجسم البشري ثلاثية الأبعاد خطوة كبيرة إلى الأمام. توفر ميزاته الفعالة والمريحة، فضلاً عن قدرات المعالجة الممتازة للمشاهد المعقدة، إمكانيات غير محدودة لمجالات الواقع الافتراضي وإنتاج الرسوم المتحركة وتطوير الألعاب وغيرها من المجالات في المستقبل. ونحن نتطلع إلى أن تحقق هذه التكنولوجيا إمكاناتها الكبيرة في المزيد من سيناريوهات التطبيق!