في الآونة الأخيرة ، أصدر فريق البحث علنًا إطارًا للهجرة التعبير يسمى Hellomeme ، والذي يمكنه ترحيل تعبيرات شخص ما إلى صور شخص آخر بإخلاص كبير. من خلال بنية الشبكة الفريدة ووحدة Animatediff المبتكرة ، تحقق Hellomeme توازنًا مثاليًا من النعومة وجودة الصورة العالية لتوليد الفيديو ، ويدعم Arkit Face Blendshapes ، مما يمنح المستخدمين التحكم جيدًا في تعبيرات الشخصيات. بالإضافة إلى ذلك ، يضمن تصميم محول SWAP الساخن التوافق مع نموذج SD1.5 ، ويوسع إمكانيات الإنشاء ويحسن بشكل كبير من كفاءة توليد مقاطع الفيديو. ستقدم هذه المقالة بالتفصيل الوظائف الأساسية والميزات التقنية والمقارنات مع الطرق الأخرى لإطار Hellomeme.
في الآونة الأخيرة ، أصدر فريق البحث إطارًا يسمى Hellomeme ، والذي يمكنه ترحيل تعبيرات شخص ما في الصورة إلى صورة الشخصية في صورة أخرى.
كما هو موضح في الشكل التالي ، أعط صورة تعبير (السطر الأول) ، ثم يمكنك نقل تفاصيل التعبير إلى الأحرف في صور أخرى.
جوهر Hellomeme هو بنية الشبكة الفريدة. الإطار قادر على استخراج ميزات كل إطار من مقطع الفيديو القيادة وإدخال هذه الميزات في HMControlModule. من خلال هذه المعالجة ، يمكن للباحثين إنشاء صور فيديو سلسة. ومع ذلك ، في الفيديو الذي تم إنشاؤه في البداية ، هناك مشكلة في التخلص من الإطارات ، مما يؤثر على تجربة المشاهدة الكلية. لمعالجة هذه المشكلة ، قدم الفريق وحدة Animatediff ، وهو ابتكار قام بتحسين استمرار الفيديو بشكل كبير ولكنه قلل أيضًا من إخلاص الصورة إلى حد ما.
استجابة لهذا التناقض ، قام الباحثون بتحسين وحد وحدة الرسوم المتحركة ، مما حقق في نهاية المطاف جودة الصورة العالية مع تحسين استمرارية الفيديو.
بالإضافة إلى ذلك ، يوفر إطار Hellomeme أيضًا دعمًا قويًا لتحرير تعبير الوجه. من خلال ربط Arkit Face Blendshapes ، يمكن للمستخدمين التحكم بسهولة في تعبيرات الوجه للشخصيات في الفيديو الذي تم إنشاؤه. تتيح هذه المرونة للمبدعين إنشاء مقاطع فيديو ذات مشاعر وتعبيرات محددة حسب الحاجة ، مما يفي بشكل كبير التعبير لمحتوى الفيديو.
من حيث التوافق الفني ، يعتمد Hellomeme تصميم محول SWAP الساخن يعتمد على SD1.5. أكبر ميزة لهذا التصميم هي أنه لا يؤثر على إمكانية التعميم لنموذج T2I (نص إلى صورة) ، مما يسمح لأي نماذج منمقة تم تطويرها على SD1.5 لدمجها بسلاسة مع Hellomeme. هذا يوفر المزيد من الاحتمالات لمختلف الإبداعات.
وجد فريق البحث أن إدخال Hmreferencemodule قد أدى بشكل كبير إلى تحسين شروط الإخلاص عند إنشاء مقاطع فيديو ، مما يعني أنه يمكن تقليل خطوات أخذ العينات مع إنشاء مقاطع فيديو عالية الجودة. هذا الاكتشاف لا يحسن كفاءة التوليد فحسب ، بل يفتح أيضًا أبوابًا جديدة لتوليد الفيديو في الوقت الفعلي.
تأثير المقارنة مع الأساليب الأخرى كما يلي.
مدخل المشروع: https://songkey.github.io/hellomeme/
https://github.com/hellovision/comfyui_hellomeme
النقاط الرئيسية:
يحقق Hellomeme التحسن المزدوج لتوليد الفيديو الطلاقة وجودة الصورة من خلال بنية الشبكة الفريدة ووحدة الرسوم المتحركة.
يدعم Framework Arkit Face Blendshapes ، مما يسمح للمستخدمين بالتحكم بمرونة في تعبيرات الوجه للشخصيات وإثراء أداء محتوى الفيديو.
يضمن تصميم محول Hot-SWAP التوافق مع نماذج أخرى تعتمد على SD1.5 ، مما يوفر مرونة أكبر للإنشاء.
بفضل قدرتها على ترحيل التعبير الفعال ، وتأثير توليد الفيديو السلس والتوافق القوي ، يوفر إطار Hellomeme إمكانيات جديدة لإنشاء الفيديو ومن المتوقع أن يلعب دورًا مهمًا في إنتاج الأفلام والتلفزيون ، والمؤثرات الخاصة للرسوم المتحركة وغيرها من المجالات. تسهل ميزات المصادر المفتوحة أيضًا المزيد من المطورين للمشاركة وتعزيز مزيد من التطوير وتحسين التكنولوجيا.