tammy

Tammy

Tammy adalah proyek sumber terbuka berbasis Python/Pytorch yang menggunakan model pembelajaran mendalam untuk menghasilkan video musik asli. Hal ini memungkinkan pengguna untuk secara otomatis menghasilkan video berdasarkan transisi teks cepat yang disinkronkan dengan berbagai aspek lagu , seperti BPM atau pola pianonya. Proyek ini menggunakan model pembelajaran mendalam di berbagai tahap proses pembuatan video, termasuk pemisahan sumber audio dengan LSTM, pembuatan bingkai dengan GAN, peningkatan spasial dengan model resolusi super, dan peningkatan sampel temporal dengan model interpolasi bingkai. Tujuan dari proyek ini adalah untuk menyediakan kerangka kerja yang mudah digunakan untuk membangun saluran model khusus untuk membuat video musik yang unik.

Contoh (nyalakan audio!)

video_dengan_audio.mp4

Daftar isi

Fitur
Mulai cepat
Aliran Data dan Struktur Kode
Pengaturan Generasi
Contoh Lainnya
Berkontribusi

Fitur

• pembuatan video musik yang sepenuhnya otomatis. Berikan hanya lagu, petunjuk teks, dan pengaturan pembuatan untuk menghasilkan video musik.
• beberapa mode animasi: Animation_2d dan Interpolasi.
• pemuatan model otomatis dan malas. Misalnya, model Difusi Stabil diambil secara otomatis saat digunakan sehingga tidak perlu menginstal pustaka apa pun secara manual atau menunggu semua model diunduh saat menginstal paket.

Mulai cepat

Untuk memulai dengan cepat:

1. Pastikan untuk menginstal ffmpeg dan libsndfile sudo apt-get install ffmpeg libsndfile1 dan git-lfs.
2. Kloning repo ini
3. Instal tammy dengan menjalankan pip install .
4. jalankan python run_tammy.py yang akan menggunakan pengaturan default di settingssettings_cpu.yaml dan lagu default thoughtsarebeings_clip.wav .

Paket tammy dapat dengan mudah digunakan dalam skrip Anda sendiri atau file pengaturan lainnya dan file audio dapat digunakan dengan skrip run_tammy.py yang ada dengan menjalankan python run_tammy.py --settings_file --audio_path .

Aliran Data dan Struktur Kode

1. tammy.prompthandler menghasilkan pengaturan untuk setiap frame yang akan dihasilkan (misalnya terjemahan atau prompt teks) berdasarkan deskripsi yang lebih ringkas dari pengaturan pembuatan.
2. tammy.sequence_maker memiliki generator yang menghasilkan urutan gambar berdasarkan petunjuk teks. Saat ini model yang didukung adalah VQGAN-CLIP dan Stable-Diffusion
3. tammy.upscaling meningkatkan gambar yang dihasilkan dengan resolusi super. Saat ini satu-satunya model yang didukung adalah SwinIR .
4. tammy.superslowmo menginterpolasi gambar yang dihasilkan (opsional ditingkatkan) untuk meningkatkan FPS tanpa perlu membuat setiap frame dengan sequence_maker . Saat ini satu-satunya model yang didukung adalah SuperSloMo .

Pengaturan Generasi

Pembuatan video memiliki banyak pengaturan konfigurasi yang ditentukan dalam file .yaml . Beberapa contoh file pengaturan, yang sebagian besar digunakan untuk pengujian, dapat ditemukan di folder settings . Sebagian besar nama pengaturan (kunci di settings.yaml ) sudah cukup jelas. Untuk lebih jelasnya, beberapa pengaturan dijelaskan di bawah ini.

Instrumen

Instrumen digunakan untuk mengarahkan transisi bingkai, khususnya: memperbesar mode Animation_2d dan mempercepat kecepatan transisi dalam mode Interpolasi. tammy memiliki dua opsi untuk menyediakan instrumen:

1. secara otomatis dengan menggunakan pemisahan sumber Spleeter: setel do_spleet: True dan berikan instrument:
2. secara manual dengan menyediakan file keyframe di file pengaturan sebagai zoom_instrument: dan beri nama file: file_name_fps.txt di mana fps harus sesuai dengan nilai fps di sequence_settings.initial_fps . Keyframe dapat dibuat secara manual dengan misalnya https://www.chigozie.co.uk/audio-keyframe-generator/

Kecepatan bingkai dan panjang video

Pengaturan sequence_settings.initial_fps menentukan jumlah frame yang dihasilkan, berdasarkan panjang klip audio. Dengan menggunakan interpolasi bingkai, kecepatan bingkai dapat ditingkatkan ke target dengan menyetel do_slowmo: True dan memberikan target_fps yang harus merupakan kelipatan dari initial_fps . Hal ini memungkinkan untuk menghasilkan video dengan kecepatan bingkai tinggi lebih cepat dibandingkan dengan menghasilkan semua bingkai dari awal dengan generator .

Jika diinginkan, jumlah frame yang dihasilkan dapat dibatasi dengan menyediakan sequence_settings.max_frames . Dalam hal ini, panjang video yang dihasilkan akan lebih pendek dari klip audio yang disediakan dan akan menjadi: max_frames / initial_fps .

Lebih banyak contoh

Video dihasilkan menggunakan mode VQGAN-CLIP dan Animation_2d dari tammy .

pemikiran_menjadi_turun_2.mp4

Video lengkap (tonton dalam 4K untuk pengalaman terbaik!: https://www.youtube.com/watch?v=T_bii9VLDk0

Video dihasilkan menggunakan mode Difusi dan Interpolasi Stabil dari tammy .

video_dengan_audio.mp4

video_dengan_audio.mp4

Berkontribusi

1. Ikuti panduan instalasi di mulai cepat.
2. Buat masalah dengan fitur yang Anda usulkan.
3. Tambahkan fitur Anda dan pengujian yang menyertainya di cabang baru bernama .
4. Pastikan semua tes lulus dengan menjalankan pytest .
5. Pasang kait pra-komit yang diperlukan: pre-commit install .
6. Buat permintaan tarik untuk bergabung ke utama dan minta peninjauan.