塔米

塔米

Tammy 是一個基於 Python/Pytorch 的開源項目，使用深度學習模型產生原創音樂影片。它允許用戶根據文字提示轉換自動生成視頻，這些視頻與歌曲的各個方面（例如 BPM 或鋼琴模式）同步。該專案在視訊生成過程的各個階段利用深度學習模型，包括使用 LSTM 進行音訊來源分離、使用 GAN 進行幀生成、使用超解析度模型進行空間升級，以及使用幀插值模型進行時間上採樣。該專案的目的是提供一個易於使用的框架來建立自訂模型管道以創建獨特的音樂影片。

範例（打開音訊！）

視訊與音訊.mp4

目錄

特徵
快速啟動
資料流和程式碼結構
產生設定
更多範例
貢獻

特徵

• 全自動音樂影片產生。只需提供歌曲、文字提示和生成設定即可生成音樂影片。
• 多種動畫模式：Animation_2d 和 Interpolation。
• 自動和延遲模型載入。例如，穩定擴散模型在使用時會自動獲取，因此在安裝套件時無需手動安裝任何庫或等待所有模型下載。

快速啟動

快速開始：

1. 確保安裝 ffmpeg 和 libsndfile sudo apt-get install ffmpeg libsndfile1和 git-lfs。
2. 克隆這個倉庫
3. 透過執行pip install .
4. 運行python run_tammy.py它將使用settingssettings_cpu.yaml中的預設值和預設歌曲thoughtsarebeings_clip.wav 。

tammy套件可以輕鬆地在您自己的腳本或其他設定檔中使用，並且音訊檔案可以透過執行python run_tammy.py --settings_file --audio_path 與現有的run_tammy.py腳本一起使用python run_tammy.py --settings_file --audio_path .

資料流和程式碼結構

1. tammy.prompthandler根據生成設定的更簡潔描述來產生每個要產生的幀的設定（例如翻譯或文字提示）。
2. tammy.sequence_maker有一個generator ，可以根據文字提示產生圖像序列。目前支援的模型有VQGAN-CLIP和Stable-Diffusion
3. tammy.upscaling以超解析度放大產生的影像。目前唯一支援的型號是SwinIR 。
4. tammy.superslowmo對生成的（可選放大的）影像進行插值以提高 FPS，而無需使用sequence_maker產生每一幀。目前唯一支援的模型是SuperSloMo 。

產生設定

視訊產生具有許多配置設置，這些設置在.yaml檔案中指定。一些範例設定檔（主要用於測試）可以在settings資料夾中找到。大多數設定名稱（ settings.yaml中的鍵）應該是不言自明的。為了清楚起見，下面解釋了一些設定。

樂器

儀器用於控制幀過渡，特別是：Animation_2d 模式中的縮放和插值模式中的提示過渡速度。 tammy有兩種提供儀器的選擇：

1. 自動使用 Spleeter 來源分離：設定do_spleet: True並提供instrument:
2. 手動透過在設定檔中提供關鍵影格檔案zoom_instrument: 並將檔案命名為: file_name_fps.txt其中fps應與sequence_settings.initial_fps中的fps值相對應。關鍵影格可以手動生成，例如 https://www.chigozie.co.uk/audio-keyframe-generator/

幀速率和視訊長度

設定sequence_settings.initial_fps決定在給定音訊剪輯長度的情況下產生的幀數。透過使用幀插值，可以透過設定do_slowmo: True並提供target_fps來將幀速率增加到目標，該 target_fps 必須是initial_fps的倍數。與使用generator從頭開始生成所有幀相比，這可以更快地生成高幀率視訊。

如果需要，可以透過提供sequence_settings.max_frames來限制產生的幀的數量。在這種情況下，產生的視訊長度將比提供的音訊剪輯短，並且為： max_frames / initial_fps 。

更多範例

使用tammy的 VQGAN-CLIP 和 Animation_2d 模式產生的影片。

toughts_being_downscale_2.mp4

完整影片（以 4K 觀看以獲得最佳體驗！：https://www.youtube.com/watch?v=T_bii9VLDk0

使用tammy的穩定擴散和插值模式產生的影片。

視訊與音訊.mp4

視訊與音訊.mp4

貢獻

1. 請遵循快速啟動中的安裝指南。
2. 對您提議的功能提出問題。
3. 在名為的新分支中新增您的功能和隨附的測試。
4. 透過運行pytest確保所有測試都通過。
5. 安裝所需的預提交掛鉤： pre-commit install 。
6. 發出拉取請求以合併到 main 中並要求審核。