smirkダウンロード - smirkソースコードのダウンロード

smirk

その他のソースコード

1.0.0

ダウンロード

Shirk：Neural-synthesisによる分析による3D表情

このリポジトリは、分析ごとの統合によるCVPR 2024 Paper 3D表現の公式実装です。

Smirkは、極端な、非対称、微妙な表現を忠実に回復する顔の幾何学を持つ単眼画像からの3D顔を再構築します。

インストール

PytorchとPytorch3Dの機能バージョンをインストールする必要があります。 CUDA 11.7を使用したPython 3.9セットアップに必要な依存関係をインストールするために使用できるrequirements.txtファイルを提供します。

 Conda Create -N SmirkPython = 3.9
PIPインストール-R要件.txt

次に、必要なモデルをダウンロードするために、実行してください。

 Bash Quick_install.sh

上記のインストールには、Flameモデルのダウンロードが含まれます。これには登録が必要です。アカウントをお持ちでない場合は、https：//flame.is.tue.mpg.de/で登録できます。

このコマンドは、Googleドライブにも見つけることができるSmirk Trecrainedモデルもダウンロードします。

デモ

2つのデモを提供します。単一の画像でモデルをテストするために使用できるもの、

 python demo.py  -  input_path samples/test_image2.png --out_path results/-checkpoint pretrained_models/smirk_em1.pt -crop

そして、ビデオでモデルをテストするために使用できるもの、

 python demo_video.py  -  input_path samples/dafoe.mp4 -out_path results/-checkpoint pretrained_models/smirk_em1.pt  -  render_orig

トレーニング

データセットの準備

Smirkは、LRS3、Mead、Celeba、およびFFHQの組み合わせで訓練されました。

§§ここからLRS3データセットをダウンロードします。現在、このデータセットがWebサイトから削除されていることを認識しています。他の同様のデータセット（LRS2など）に置き換えることができます。
ここからミードデータセットをダウンロードしてください。
ここからcelebaデータセットをダウンロードしてください。 Aligned Images img_align_celeba.zipを直接ダウンロードできます。
ここからFFHQ256データセットをダウンロードしてください。

データセットをダウンロードした後、MediapipeとFanを使用してランドマークを抽出する必要があります。 datasets/preprocess_scriptsでの前処理のためのスクリプトを提供します。使用例：

 python datasets/preprocess_scripts/apply_mediapipe_to_dataset.py  -  intput_dir path_to_ffhq256/magemes-output_dir path_to_ffhq256/mediapipe_landmarks

そしてファンのために：

 python datasets/preprocess_scripts/apply_fan_to_dataset.py  -  intput_dir path_to_ffhq256/images -output_dir path_to_ffhq256/fan_landmarks

ファンランドマークを取得するために、https://github.com/hhj1897/face_alignmentで実装を使用してください。

次に、データセットとそのランドマークへの正しいパスを使用して、 configs内の構成ファイルを必ず更新してください。

事前脱出

事前トレーニング段階では、抽出されたランドマークとMICAの出力のみを使用して、3つのエンコーダー（ポーズ、形状、および式）すべてをトレーニングします。

 python train.py configs/config_pretrain.yaml train.log_path = "logs/pretrain"

トレーニング

事前に移動した後、Shirkのコア段階で、形状をフリーズしてエンコーダをポーズし、完全なSmirkフレームワーク（再構築パスとサイクルパス）で式エンコーダーをトレーニングします。

 python train.py configs/config_train.yaml resume = logs/pretrain/first_stage_pretrained_encoder.pt train.loss_weights.emotion_loss = 1.0

引用

この作業が便利だと思う場合は、引用を検討してください。

 @inproceedings {Smirk：cvpr：2024、title = {neural-synthesisによる分析による3D表情}、著者= {Retsinas、George and Filntisis、Panagiotis P.、およびDanecek、Radek and Abrevaya、Victoria F、Roussosososososososososososososososos 、Anastasios and Bolkart、Timo and Maragos、Petros}、booktitle = {コンピュータービジョンとパターン認識に関する会議（CVPR）}、Year = {2024}}