تامي

تامي

Tammy هو مشروع مفتوح المصدر قائم على Python/Pytorch يستخدم نماذج التعلم العميق لإنشاء مقاطع فيديو موسيقية أصلية. فهو يسمح للمستخدمين بإنشاء مقاطع فيديو تلقائيًا بناءً على انتقالات نصية سريعة تتم مزامنتها مع جوانب مختلفة من الأغنية ، مثل BPM أو نمط البيانو. يستخدم المشروع نماذج التعلم العميق في مراحل مختلفة من عملية إنشاء الفيديو، بما في ذلك فصل مصدر الصوت باستخدام LSTMs، وإنشاء الإطارات باستخدام شبكات GAN، والارتقاء المكاني باستخدام نماذج فائقة الدقة، والتقريب الزمني باستخدام نماذج استيفاء الإطار. الهدف من هذا المشروع هو توفير إطار عمل سهل الاستخدام لإنشاء خطوط أنابيب نموذجية مخصصة لإنشاء مقاطع فيديو موسيقية فريدة.

مثال (تشغيل الصوت!)

video_with_audio.mp4

جدول المحتويات

سمات
بداية سريعة
تدفق البيانات وهيكل التعليمات البرمجية
إعدادات الجيل
المزيد من الأمثلة
المساهمة

سمات

• إنشاء مقاطع فيديو موسيقية مؤتمتة بالكامل. قم بتوفير أغنية ومطالبات نصية وإعدادات إنشاء فقط لإنشاء فيديو موسيقي.
• أوضاع الرسوم المتحركة المتعددة: Animation_2d و Interpolation.
• تحميل النموذج التلقائي والكسول. على سبيل المثال، يتم جلب نموذج Stable Diffusion تلقائيًا عند استخدامه، لذلك لا حاجة إلى تثبيت أي مكتبات يدويًا أو انتظار تنزيل جميع النماذج عند تثبيت الحزمة.

بداية سريعة

لبداية سريعة:

1. تأكد من تثبيت ffmpeg و libsndfile sudo apt-get install ffmpeg libsndfile1 و git-lfs.
2. استنساخ هذا الريبو
3. قم بتثبيت تامي عن طريق تشغيل pip install .
4. قم بتشغيل python run_tammy.py الذي سيستخدم الإعدادات الافتراضية في settingssettings_cpu.yaml والأغنية الافتراضية thoughtsarebeings_clip.wav .

يمكن استخدام حزمة tammy بسهولة في البرنامج النصي الخاص بك أو يمكن استخدام ملفات الإعداد الأخرى وملفات الصوت مع البرنامج النصي run_tammy.py الموجود عن طريق تشغيل python run_tammy.py --settings_file --audio_path .

تدفق البيانات وهيكل التعليمات البرمجية

1. يقوم tammy.prompthandler بإنشاء الإعدادات لكل إطار سيتم إنشاؤه (مثل الترجمة أو المطالبة النصية) استنادًا إلى وصف أكثر إيجازًا لإعدادات الإنشاء.
2. يحتوي tammy.sequence_maker على generator يقوم بإنشاء تسلسل صور بناءً على مطالبات نصية. النماذج المدعومة حاليًا هي VQGAN-CLIP و Stable-Diffusion
3. يقوم tammy.upscaling بتحجيم الصور التي تم إنشاؤها بدقة فائقة. النموذج الوحيد المدعوم حاليًا هو SwinIR .
4. tammy.superslowmo يقحم الصور التي تم إنشاؤها (ترقيتها اختياريًا) لزيادة معدل الإطارات في الثانية دون الحاجة إلى إنشاء كل إطار باستخدام sequence_maker . النموذج الوحيد المدعوم حاليًا هو SuperSloMo .

إعدادات الجيل

يحتوي إنشاء الفيديو على العديد من إعدادات التكوين المحددة في ملف .yaml . يمكن العثور على بعض أمثلة ملفات الإعدادات، المستخدمة في الغالب للاختبار، في مجلد settings . يجب أن تكون معظم أسماء الإعدادات (المفاتيح الموجودة في settings.yaml ) واضحة بذاتها. من أجل الوضوح، يتم شرح بعض الإعدادات أدناه.

أداة

يتم استخدام الأدوات لتوجيه انتقالات الإطارات، على وجه الخصوص: التكبير في وضع Animation_2d وسرعة الانتقال السريعة في وضع الاستيفاء. لدى tammy خياران لتوفير الأدوات:

1. تلقائيًا باستخدام فصل مصدر Spleeter: اضبط do_spleet: True وقم بتوفير instrument:
2. يدويًا عن طريق توفير ملف إطار رئيسي في ملف الإعداد كـ zoom_instrument: وقم بتسمية الملف: file_name_fps.txt حيث يجب أن يتوافق fps مع قيمة fps في sequence_settings.initial_fps . يمكن إنشاء الإطارات الرئيسية يدويًا باستخدام https://www.chigozie.co.uk/audio-keyframe-generator/ على سبيل المثال

معدل الإطارات وطول الفيديو

يحدد الإعداد sequence_settings.initial_fps عدد الإطارات التي تم إنشاؤها، مع مراعاة طول مقطع الصوت. باستخدام استيفاء الإطارات، يمكن زيادة معدل الإطارات إلى هدف عن طريق تعيين do_slowmo: True وتوفير target_fps الذي يجب أن يكون مضاعفًا لـ initial_fps . وهذا يسمح بإنتاج مقاطع فيديو ذات معدل إطارات مرتفع بشكل أسرع مقارنة بإنشاء جميع الإطارات من الصفر باستخدام generator .

إذا رغبت في ذلك، يمكن تحديد عدد الإطارات التي تم إنشاؤها من خلال توفير sequence_settings.max_frames . في هذه الحالة، سيكون طول الفيديو الذي تم إنشاؤه أقصر من مقطع الصوت المقدم وسيكون: max_frames / initial_fps .

المزيد من الأمثلة

تم إنشاء الفيديو باستخدام وضع VQGAN-CLIP وAnimation_2d من tammy .

Toughts_being_downscale_2.mp4

الفيديو كاملاً (شاهده بدقة 4K للحصول على أفضل تجربة!: https://www.youtube.com/watch?v=T_bii9VLDk0

تم إنشاء مقاطع الفيديو باستخدام وضع Stable Diffusion and Interpolation من tammy .

video_with_audio.mp4

video_with_audio.mp4

المساهمة

1. اتبع إرشادات التثبيت في البداية السريعة.
2. اصنع مشكلة مع الميزة المقترحة.
3. أضف ميزتك والاختبارات المصاحبة لها في فرع جديد يسمى .
4. تأكد من اجتياز جميع الاختبارات عن طريق تشغيل pytest .
5. قم بتثبيت خطافات الالتزام المسبق المطلوبة: pre-commit install .
6. قم بتقديم طلب سحب للدمج في الملف الرئيسي واطلب المراجعة.