أصبحت الرموز التعبيرية، بدءًا من الصور الثابتة وحتى مقاطع الفيديو الديناميكية، جزءًا مهمًا من الثقافة عبر الإنترنت. ومع ذلك، ليس من السهل إنتاج مقاطع فيديو تعبيرية عالية الجودة، حيث تعاني الأساليب الحالية من مشاكل مثل انخفاض الكفاءة وضعف القدرة على التعميم. تقدم هذه المقالة أداة تسمى HelloMeme، والتي يمكنها بسهولة وكفاءة إنشاء مقاطع فيديو مفعمة بالحيوية ومثيرة للاهتمام وعالية الدقة، مما يضيف متعة جديدة إلى إنشاء مقاطع الفيديو القصيرة.
أعزائي "راكبي الأمواج"، هل مازلتم تتذكرون الرموز التعبيرية التي كنا نتبعها في تلك السنوات، من "الرجل العجوز في مترو الأنفاق وهو ينظر إلى هاتفه المحمول" إلى "رأس الباندا لأمين المعرض الذهبي"، لم تجعلنا نضحك فحسب، بل أصبحت أيضًا؟ نوع من الرمز الثقافي الفريد للإنترنت. في الوقت الحاضر، تحظى مقاطع الفيديو القصيرة بشعبية كبيرة في جميع أنحاء العالم، كما أن الرموز التعبيرية "تتقدم مع الزمن"، حيث تتطور من الصور الثابتة إلى مقاطع الفيديو الديناميكية، والتي تعتبر مجنونة على جميع المنصات الرئيسية.
ومع ذلك، ليس من السهل إنشاء فيديو تعبيري عالي الجودة. أولا وقبل كل شيء، تتميز الرموز التعبيرية بالتعبيرات المبالغ فيها والحركات الكبيرة، مما يشكل تحديا كبيرا لتكنولوجيا توليد الفيديو. ثانيًا، تتطلب العديد من الأساليب الحالية تحسين معلمات النموذج بأكمله، وهو أمر لا يستغرق وقتًا طويلاً وكثيف العمالة فحسب، بل قد يؤدي أيضًا إلى انخفاض قدرة تعميم النموذج، مما يجعل من الصعب التوافق مع النماذج المشتقة الأخرى ويمكن القول أن "شعرة واحدة تؤثر على الجسم كله".
إذًا، هل هناك طريقة تمكننا من إنشاء مقاطع فيديو تحتوي على رموز تعبيرية مفعمة بالحيوية ومثيرة للاهتمام وعالية الدقة بسهولة؟ الجواب هو: بالطبع، HelloMeme هنا لإنقاذك!
HelloMeme يشبه أداة "المكونات الإضافية" للنماذج الكبيرة، فهو يسمح للنموذج بتعلم "المهارة الجديدة" لإنشاء مقاطع فيديو تعبيرية دون تغيير النموذج الأصلي. سلاحها السري هو تحسين آلية الانتباه المتعلقة بخريطة المعالم ثنائية الأبعاد، وبالتالي تعزيز أداء المحول. وبكل بساطة، يتم وضع زوج من "النظارات الشفافة" على النموذج حتى يتمكن من التقاط تفاصيل التعبيرات والحركات بدقة أكبر.
إن كيفية عمل HelloMeme مثيرة للاهتمام أيضًا. وهي تتألف من ثلاثة شركاء: HMReferenceNet، وHMControlNet، وHMDenoisingNet.
يشبه HMReferenceNet المعلم الذي "يقرأ عددًا لا يحصى من الصور" ويمكنه استخراج ميزات عالية الدقة من الصور المرجعية. وهذا يشبه تزويد النموذج بـ "دليل صنع حزمة الرموز التعبيرية" حتى يعرف نوع التعبيرات "البسيطة" بدرجة كافية.
يشبه HMControlNet "برنامج التقاط الحركة الرئيسي" الذي يمكنه استخراج معلومات وضعية الرأس وتعبيرات الوجه. وهذا يعادل تثبيت "نظام التقاط الحركة" على النموذج، مما يسمح له بالتقاط كل تغيير دقيق في التعبير بدقة.
HMDenoisingNet هو "محرر الفيديو"، وهو المسؤول عن دمج المعلومات المقدمة من الصديقين السابقين لإنشاء الفيديو التعبيري النهائي. إنه مثل المحرر ذو الخبرة الذي يمكنه مزج المواد المختلفة معًا بشكل مثالي لإنشاء مقطع فيديو يجعل الناس يضحكون.
من أجل السماح لهؤلاء الأصدقاء الثلاثة بالعمل بشكل أفضل معًا، يستخدم HelloMeme أيضًا سحرًا يسمى "آلية انتباه نسج الفضاء". تشبه هذه الآلية حياكة سترة، حيث تقوم بنسج معلومات الميزات المختلفة معًا، وبالتالي الاحتفاظ بالمعلومات الهيكلية في خريطة الميزات ثنائية الأبعاد. بهذه الطريقة، لا يحتاج النموذج إلى إعادة تعلم هذه المعرفة الأساسية ويمكنه التركيز بشكل أكبر على "الإبداع الفني" لإنتاج الرموز التعبيرية.
أقوى شيء في HelloMeme هو أنه يحتفظ تمامًا بالمعلمات الأصلية لنموذج SD1.5UNet أثناء عملية التدريب ويحسن فقط المعلمات المدرجة في المحول. ** هذا يشبه إعطاء النموذج "رقعة" بدلاً من إجراء "عملية جراحية كبرى" عليه. ** ميزة ذلك هي أنه لا يحتفظ بالوظائف القوية للنموذج الأصلي فحسب، بل يمنحه أيضًا قدرات جديدة ويمكن القول أنه يضرب عصفورين بحجر واحد.
لقد حقق HelloMeme نتائج رائعة في مهمة إنشاء مقاطع فيديو المشاعر. لا تحتوي مقاطع الفيديو التي تنشئها على تعبيرات حية وحركات سلسة فحسب، بل تتمتع أيضًا بدقة عالية للصورة، والتي يمكن مقارنتها بمستويات الإنتاج الاحترافية. والأهم من ذلك، أن HelloMeme يتمتع أيضًا بتوافق جيد مع النماذج المشتقة من SD1.5، مما يعني أنه يمكننا الاستفادة من النماذج الأخرى لتحسين جودة مقاطع الفيديو ذات الرموز التعبيرية.
وبطبيعة الحال، لا يزال لدى HelloMeme مجال كبير للتحسين. على سبيل المثال، يعد الفيديو الذي ينشئه أدنى قليلاً من بعض الأساليب المستندة إلى GAN من حيث استمرارية الإطار، كما تحتاج قدرته على التعبير عن الأسلوب إلى التحسين أيضًا. ومع ذلك، صرح فريق البحث في HelloMeme أنهم سيواصلون العمل الجاد لتحسين النموذج لجعله أكثر قوة وأكثر "منحوتة رملية".
أعتقد أنه في المستقبل القريب، ستصبح HelloMeme أفضل أداة بالنسبة لنا لإنشاء مقاطع فيديو تعبيرية، مما يسمح لنا بإطلاق العنان لخيالنا في "النحت الرملي" واستخدام الرموز التعبيرية للسيطرة على عصر الفيديو القصير!
عنوان المشروع: https://songkey.github.io/hellomeme/
بشكل عام، توفر HelloMeme حلاً فعالاً ومريحًا لإنشاء مقاطع فيديو للرموز التعبيرية، كما أن تقنيتها المبتكرة وتأثيراتها الممتازة تستحق التطلع إليها. في المستقبل، مع التقدم التكنولوجي المستمر، أعتقد أن HelloMeme سيصبح أداة لا غنى عنها في مجال إنشاء الرموز التعبيرية، مما يسمح لعدد أكبر من الأشخاص بإنشاء أعمال فيديو رائعة بسهولة.