タミー

タミー

Tammy は、深層学習モデルを使用してオリジナルのミュージック ビデオを生成する、Python/Pytorch ベースのオープンソース プロジェクトです。これにより、ユーザーは、BPM やピアノ パターンなど、曲のさまざまな側面と同期したテキスト プロンプト トランジションに基づいてビデオを自動的に生成できます。このプロジェクトでは、LSTM による音源分離、GAN によるフレーム生成、超解像度モデルによる空間アップスケーリング、フレーム補間モデルによる時間アップサンプリングなど、ビデオ生成プロセスのさまざまな段階で深層学習モデルを利用しています。このプロジェクトの目的は、カスタム モデル パイプラインを構築してユニークなミュージック ビデオを作成するための使いやすいフレームワークを提供することです。

例 (オーディオをオンにしてください)

video_with_audio.mp4

目次

特徴
クイックスタート
データフローとコード構造
生成設定
他の例
貢献する

特徴

• 完全に自動化されたミュージックビデオ生成。曲、テキスト プロンプト、生成設定を指定するだけで、ミュージック ビデオを生成できます。
• 複数のアニメーション モード:Animation_2d および Interpolation。
• 自動かつ遅延モデルの読み込み。たとえば、安定拡散モデルは使用時に自動的にフェッチされるため、ライブラリを手動でインストールしたり、パッケージのインストール時にすべてのモデルがダウンロードされるのを待つ必要はありません。

クイックスタート

簡単に始めるには:

1. ffmpeg と libsndfile を必ずインストールしてくださいsudo apt-get install ffmpeg libsndfile1と git-lfs を実行してください。
2. このリポジトリのクローンを作成します
3. pip install .
4. python run_tammy.pyを実行すると、 settingssettings_cpu.yamlのデフォルト設定とデフォルトの Song thoughtsarebeings_clip.wavが使用されます。

tammyパッケージは、独自のスクリプトまたは他の設定ファイルで簡単に使用でき、 python run_tammy.py --settings_file --audio_path を実行することで、既存のrun_tammy.pyスクリプトでオーディオ ファイルを使用できます。 python run_tammy.py --settings_file --audio_path 。

データフローとコード構造

1. tammy.prompthandler生成設定のより簡潔な説明に基づいて、生成されるすべてのフレームの設定 (翻訳やテキスト プロンプトなど) を生成します。
2. tammy.sequence_makerには、テキスト プロンプトに基づいて画像シーケンスを生成するgeneratorがあります。現在サポートされているモデルはVQGAN-CLIPとStable-Diffusionです。
3. tammy.upscaling生成された画像を超解像度でスケールアップします。現在サポートされているモデルはSwinIRのみです。
4. tammy.superslowmo sequence_makerですべてのフレームを生成する必要なく、生成された (オプションでアップスケールされた) 画像を補間して FPS を向上させます。現在サポートされているモデルはSuperSloMoのみです。

生成設定

ビデオ生成には、 .yamlファイルで指定される多くの構成設定があります。主にテストに使用されるいくつかの設定ファイルの例がsettingsフォルダーにあります。ほとんどの設定名 ( settings.yaml内のキー) は一目瞭然です。わかりやすくするために、いくつかの設定について以下に説明します。

楽器

インストゥルメントは、特に、Animation_2d モードでのズームや Interpolation モードでのプロンプト遷移速度など、フレーム遷移を制御するために使用されます。 tammy機器を提供する 2 つのオプションがあります。

1. Spleeter ソース分離を使用して自動的に: do_spleet: Trueを設定し、 instrument: を指定します。
2. 設定ファイルにキーフレーム ファイルをzoom_instrument: として指定し、ファイル名をfile_name_fps.txtとして手動で指定します。ここで、 fps sequence_settings.initial_fpsのfps値に対応する必要があります。キーフレームは、https://www.chigozie.co.uk/audio-keyframe-generator/ などを使用して手動で生成できます。

フレームレートとビデオの長さ

設定sequence_settings.initial_fpsは、オーディオ クリップの長さを考慮して、生成されるフレームの数を決定します。フレーム補間を使用すると、 do_slowmo: Trueを設定し、 initial_fpsの倍数であるtarget_fps指定することで、フレーム レートを目標まで上げることができます。これにより、 generatorを使用してすべてのフレームを最初から生成するよりも速く、高フレーム レートのビデオを作成できます。

必要に応じて、 sequence_settings.max_framesを指定することで、生成されるフレームの数を制限できます。この場合、生成されるビデオの長さは提供されたオーディオ クリップよりも短くなり、 max_frames / initial_fpsになります。

他の例

tammyの VQGAN-CLIP とAnimation_2d モードを使用して生成されたビデオ。

タフツ_ビーイング_ダウンスケール_2.mp4

フルビデオ (最高の体験を得るには 4K でご覧ください!: https://www.youtube.com/watch?v=T_bii9VLDk0

tammyの安定拡散および補間モードを使用して生成されたビデオ。

video_with_audio.mp4

video_with_audio.mp4

貢献する

1. クイック スタートのインストール ガイドラインに従ってください。
2. 提案された機能について問題を提起します。
3. という新しいブランチに機能と付随するテストを追加します。
4. pytest実行して、すべてのテストが成功することを確認します。
5. 必要なコミット前フックをインストールします: pre-commit install 。
6. プルリクエストを作成してメインにマージし、レビューを求めます。