controlanimate

ControlAnimate

• الجمع بين AnimateDiff وMulti-ControlNet وImg2Img لتطبيقات Vid2Vid. تركز هذه المكتبة الصغيرة بشكل خاص على تطبيقات Vid2Vid باستخدام ControlNet (أو Multi-ControlNet) لتوجيه عملية إنشاء الفيديو وAnimateDiff لتحقيق الاتساق.
• بالإضافة إلى أنه يستخدم Img2Img لإنشاء مقاطع فيديو أكثر اتساقًا (بعد الفترة الأولى). على غرار AnimateDiff، فهو يسمح باستخدام نماذج DreamBooth/LoRA بالإضافة إلى النموذج الأساسي Stable Diffusion 1.5.
• هذا إصدار أولي لذا يرجى توقع المشكلات والأخطاء المحتملة. نرحب بالتعليقات والاقتراحات وطلبات الميزات.

أخبار

• 20 نوفمبر 2023 - يدعم الآن محول IP وxformers ومطابقة الألوان!
• 12 نوفمبر 2023 - يدعم الآن LCM-LoRA وControlNet لجميع المجموعات!
• 7 نوفمبر 2023 - يدعم الآن نموذج الاتساق الكامن (LCM) - تحقيق زيادة في الأداء بمقدار 10 أضعاف!

الميزات المدعومة

• ؟ محول IP (يستخدم لزيادة تشابه مجموعات إطارات AnimateDiff)
• ؟ نموذج الاتساق الكامن LoRA (LCM-LoRA)
• ؟ نموذج الاتساق الكامن (LCM) أصلي
• ؟ يمكن دمج Multi-ControlNet مع LCM، وما إلى ذلك.
• ؟ الترجيح الفوري والمطالبات الطويلة (الإجبار)
• ؟ دريم بوث و لورا
• ؟ استيفاء FFMPEG
• ؟ مطابقة الألوان بين الدفعات لتحسين الاتساق
• ؟ التداخل الكامن (Img2Img & ControlNet) وتداخل الإطار (المزج)
• ؟ تحسين الوجه والارتقاء به (GFPGAN وRealESRGAN)
• ؟ معدل الإطارات التعسفي، والمدة، وأخذ عينات الدقة لفيديو الإدخال
• ؟ تم تمكين xformers

التوافق والمتطلبات

• تم اختبار قاعدة التعليمات البرمجية هذه على Linux (Ubuntu 22.04) فقط. تم اختباره على جهاز Intel مزود بـ NVIDIA Gefore RTX 3090 (ذاكرة VRAM سعة 24 جيجابايت) ويتطلب ذاكرة وصول عشوائي (RAM) تبلغ 16 جيجابايت على الأقل.

تثبيت

• تأكد من تثبيت Anaconda (https://www.anaconda.com/download).
• تأكد أيضًا من تثبيت FFMPEG وإعداده بشكل صحيح (يمكنك اتباع هذه الأدلة للتثبيت: "الدليل 1" وإذا كانت لا تزال هناك مشكلات، هذا: "الدليل 2" - يمكنك تعيين مسار FFMPEG في التكوينات/المطالبات yaml الملفات)

 git clone [email protected]:intellerce/controlanimate.git
cd ControlAnimate

bash download.sh

conda env create -f env.yml

Vid2Vid

• بعد تعيين ملف التكوين "configs/prompts/SampleConfig.yaml"، ما عليك سوى تشغيل ما يلي (لا تنس الإشارة إلى ملف فيديو إدخال صالح):

 conda activate controlanimate
bash start.sh

تم الاختبار على جهاز مزود ببطاقة RTX 3090 واحدة.

الترجيح الفوري

• يعتمد الترجيح الفوري على الإجبار. يمكنك استخدام + أو (...)+ للأهمية أو إضافة أوزان مثل هذا: (cat)1.2 وبالمثل يمكنك استخدام العلامة السالبة (-) لتقليل الوزن أو استخدام الأوزان أدناه 1. يرجى الرجوع إلى https:// github.com/damian0815/compel/blob/main/Reference.md لمزيد من المعلومات.

نتائج

• أربع شبكات تحكم وتداخل كامن (configs/prompts/SampleConfig.yaml)
• LCM (بدون ControlNet) (configs/prompts/SampleConfigLCM.yaml)
• LCM-LoRA + Multi-ControlNet (التكوينات/المطالبات/SampleConfigLCMLoRA.yaml)
• محول IP + LCM-LoRA + Multi-ControlNet (configs/prompts/SampleConfigIPAdapter.yaml)

ما يجب القيام به

• إصدار جيثب
• إصلاحات الأخطاء والتحسينات
• إصلاح مشكلات xformers وتحسين ذاكرة وحدة معالجة الرسومات
• دعم ويندوز
• واجهة

اتصل بنا

حامد أوميدفار، دكتوراه. : [email protected]
وحيدة أخلاقي، دكتوراه : [email protected]

رخصة

تم إصدار قاعدة التعليمات البرمجية هذه بموجب ترخيص Apache v2.0. للحصول على تراخيص قواعد التعليمات البرمجية التي يعتمد عليها هذا المستودع، يرجى الرجوع إلى صفحات Github/موقع الويب المقابلة لها.

شكر وتقدير

تم بناء قاعدة التعليمات البرمجية هذه و/أو مستوحاة من المستودعات التالية: AnimateDiff Diffusers IP-Adapter Video2Video Color Matcher

يود المؤلفون أن يشكروا كالين أوفتشاروف (شركة Extropolis) على ردود الفعل والاقتراحات التي لا تقدر بثمن.