اليوم، مع التطور السريع للواقع الافتراضي وتكنولوجيا الواقع المعزز، أصبحت كيفية إنشاء صورة رمزية رقمية ثلاثية الأبعاد واقعية وطبيعية وسهلة التشغيل موضوع بحث ساخن. توفر لنا تقنية ExAvatar التي تم إطلاقها بشكل مشترك بواسطة DGIST وMeta's Codec Avatars Lab حلاً جديدًا تمامًا. يمكنه بسرعة إنشاء صورة رمزية ثلاثية الأبعاد نابضة بالحياة يمكنها تقليد حركات الجسم بالكامل وتعبيرات الوجه ووضعيات اليد للمستخدم من خلال مسح بسيط للهاتف المحمول، ويحقق أداء ديناميكي عالي الجودة وتأثيرات العرض من خلال الخوارزميات والتقنيات المتقدمة، مما يوفر منصة قوية لـ جلبت حقول Metaverse إمكانيات جديدة.
في العصر الرقمي، تعمل تقنيات الواقع الافتراضي (VR) والواقع المعزز (AR) على تغيير الطريقة التي نعيش بها ونعمل بها تدريجيًا. تخيل أنك قادر على إنشاء صورة رمزية ثلاثية الأبعاد تحاكي كل تحركاتك وتعبيراتك، كيف سيكون الأمر؟
ExAvatar، الذي تم تطويره بشكل مشترك بواسطة DGIST وMeta's Codec Avatars Lab، يحول هذا الخيال إلى حقيقة. تلتقط هذه التقنية حركات الجسم بالكامل وتعبيرات الوجه وحتى إيماءات اليد من خلال مقطع فيديو وتحولها إلى صورة رقمية ثلاثية الأبعاد نابضة بالحياة.
اثنين من ابتكارات ExAvatar: أولاً، يستخدم نموذج الشبكة البارامترية لكامل الجسم SMPL-X لالتقاط وإعادة إنتاج الأوضاع المختلفة لجسم الإنسان بدقة، ثانيًا، جنبًا إلى جنب مع تقنية الرش الغاوسي ثلاثية الأبعاد (3DGS)، مما يجعل ExAvatar أكثر واقعية وكفاءة؛ قدرات التقديم.
الوظائف الأساسية:
برنامج تشغيل ثلاثي الأبعاد لكامل الجسم: يدعم الرسوم المتحركة الشاملة للجسم واليدين والوجه، مما يولد مجموعة متنوعة من الأوضاع والتعبيرات.
التمثيل المختلط: يجمع بين الشبكات الغوسية والسطحية ثلاثية الأبعاد لضمان الاتساق الهندسي والمظهر وتقليل الشوائب.
التقاط مريح: يمكنك إنشاء صورة رمزية ثلاثية الأبعاد عن طريق المسح الضوئي بهاتفك المحمول في وقت قصير، وتكون العملية بسيطة.
عرض عالي الجودة: استخدم الخوارزميات والتقنيات المتقدمة لتحقيق أداء ديناميكي عالي الجودة وتأثيرات العرض.
أفضل من التكنولوجيا الحالية: إنها تتفوق على تكنولوجيا إنشاء الصور الرمزية ثلاثية الأبعاد السابقة من حيث الحركة الطبيعية والمظهر، كما أنها قابلة للتكيف مع نطاق أوسع من سيناريوهات التطبيق.
يحل ExAvatar بعض تحديات التقنيات السابقة، مثل الافتقار إلى التنوع في تعبيرات الوجه ووضعياته، والافتقار إلى بيانات المراقبة مثل المسح ثلاثي الأبعاد والصور العميقة. من خلال مزج التمثيلات، يعمل ExAvatar على تحسين طبيعة الرسوم المتحركة وتقليل الشوائب التي يمكن أن تظهر في أوضاع جديدة.
قبل تدريب ExAvatar، قام فريق البحث بتسجيل الجسم واليدين والوجه بشكل مشترك باستخدام نموذج SMPL-X، وقدم إزاحات المفاصل وإزاحات الوجه، وتحسين طول عظم اليد وشكل منطقة الوجه، وتحسين تعبير الصورة الرمزية وطبيعتها.
تستخرج البنية التقنية لـ ExAvatar ميزات كل Gaussian وتعالجها من خلال إدراك متعدد الطبقات (MLP)، مدمج مع شبكة قياسية لتشكيل صورة رمزية ثلاثية الأبعاد يمكن تحريكها في مساحة قياسية. يتم استخدام خوارزمية الاستيفاء الخطي للمزج (LBS) لمعالجة الرسوم المتحركة، ويتم عرض الصورة الرمزية على الشاشة بمساعدة تقنية 3DGS، مما يضمن تأثيرات بصرية عالية الجودة.
تنعكس راحة ExAvatar في حقيقة أنه يمكن للمستخدمين إنشاء صور رمزية ثلاثية الأبعاد من خلال مسح بسيط للهاتف المحمول، ودعم الرسوم المتحركة بأوضاع الجسم الجديدة والإيماءات وتعبيرات الوجه، وعرضها من أي زاوية مشاهدة. تستخدم هذه التقنية طريقة تمثيل هجينة تعامل كل 3D Gaussian كقمة للسطح، مع اتصال محدد مسبقًا بين هذه القمم، مما يتوافق مع طوبولوجيا الشبكة لـ SMPL-X.
عنوان المشروع: https://top.aibase.com/tool/exavatar
عنوان الورقة: https://arxiv.org/pdf/2407.21686
وبفضل دقته العالية وكفاءته وسهولة استخدامه، من المتوقع أن يتم استخدام ExAvatar على نطاق واسع في مجالات مثل الواقع الافتراضي والواقع المعزز وتطوير الألعاب وإنشاء المحتوى الرقمي، مما يوفر للمستخدمين تجربة رقمية أكثر غامرة وتفاعلية. وفي المستقبل، قد تلعب هذه التكنولوجيا أيضًا دورًا مهمًا في التعاون عن بعد والتدريب الافتراضي وما إلى ذلك.