حقق مشروع EmoTalk3D تقدمًا كبيرًا في مجال الذكاء الاصطناعي، ويكمن جوهره في التوليف الناجح للصور الرمزية الناطقة ثلاثية الأبعاد عالية الدقة والغنية بالعاطفة. يحل هذا المشروع مشاكل التكنولوجيا الموجودة في اتساق وجهات النظر المتعددة وعدم كفاية التعبير العاطفي. يمكن لإطار العمل التنبؤ بدقة بالتسلسلات الهندسية ثلاثية الأبعاد، وتجميع مظهر الصورة الرمزية ثلاثي الأبعاد استنادًا إلى التمثيل الغوسي رباعي الأبعاد، وفي النهاية تحقيق الرسوم المتحركة للصورة الرمزية الناطقة ذات الرؤية الحرة، حيث يمكن عرض التعبيرات والتجاعيد الدقيقة بشكل واقعي.
من المفهوم أن فريق البحث في مشروع EmoTalk3D قد اقترح طريقة تركيبية جديدة لمعالجة أوجه القصور في تقنية الصور الرمزية الناطقة ثلاثية الأبعاد الحالية من حيث اتساق وجهات النظر المتعددة والتعبير العاطفي. لا يتيح هذا الأسلوب تحسين مزامنة الشفاه وجودة العرض فحسب، بل يتيح أيضًا التعبير العاطفي الذي يمكن التحكم فيه في الصور الرمزية الناطقة التي تم إنشاؤها.
صمم فريق البحث إطار رسم الخرائط "من الكلام إلى الهندسة إلى المظهر". يتنبأ إطار العمل أولاً بالتسلسلات الهندسية ثلاثية الأبعاد الدقيقة من الميزات الصوتية ثم يقوم بتجميع مظهر الرأس الناطق ثلاثي الأبعاد الذي يمثله غاوسي رباعي الأبعاد بناءً على هذه الأشكال الهندسية. في هذه العملية، يتم تقسيم المظهر بشكل أكبر إلى مكونات غاوسية أساسية وديناميكية، والتي يتم دمجها من خلال التعلم من مقاطع الفيديو متعددة المشاهدة لتقديم عرض حر للرسوم المتحركة الرمزية الناطقة.
ومن الجدير بالذكر أن فريق البحث في مشروع EmoTalk3D نجح أيضًا في حل صعوبات الطرق السابقة في التقاط تفاصيل الوجه الديناميكية، مثل ظهور التجاعيد والتعبيرات الدقيقة. تظهر النتائج التجريبية أن هذه الطريقة لها مزايا كبيرة في إنشاء صور رمزية ناطقة ثلاثية الأبعاد عالية الدقة ويمكن التحكم فيها عاطفيًا، مع إظهار جودة عرض أفضل واستقرار في توليد حركة الشفاه.
حاليًا، تم إصدار التعليمات البرمجية ومجموعات البيانات الخاصة بمشروع EmoTalk3D على عنوان URL المخصص لـ HTTPS للرجوع إليها واستخدامها من قبل الباحثين والمطورين حول العالم. ولا شك أن هذا الطفرة التكنولوجية المبتكرة ستضخ حيوية جديدة في تطوير مجال الصور الرمزية الناطقة ثلاثية الأبعاد، ومن المتوقع استخدامها في العديد من المجالات مثل الواقع الافتراضي والواقع المعزز والإنتاج السينمائي والتلفزيوني في المستقبل.
لقد جلب نجاح مشروع EmoTalk3D إمكانيات جديدة لإنتاج شخصيات رقمية ثلاثية الأبعاد، وستؤدي تقنية الصور الرمزية ثلاثية الأبعاد العاطفية عالية الدقة إلى إحداث تغييرات ثورية في مجالات الواقع الافتراضي والواقع المعزز وإنتاج الأفلام والتلفزيون. في المستقبل، يمكننا أن نتطلع إلى ظهور المزيد من المنتجات والتطبيقات القائمة على تقنية EmoTalk3D، مما يوفر للناس تجربة أكثر غامرة.