smirk下载 - smirk源代码下载

smirk

其他源码

1.0.0

下载

傻笑：通过按在神经合成分析的3D面部表情

该存储库是通过通过神经合成分析的CVPR 2024论文3D面部表达式的正式实施。

傻笑从单眼图像中重建了3D面，忠实地恢复了极端，不对称和微妙的表达方式。

安装

您需要安装Pytorch和Pytorch3D的工作版本。我们提供了一个requirements.txt 。

 conda create -n傻笑python = 3.9
pip install -r requirements.txt# install pytorch3d nowpip install --no-index --no-cache-dir pytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py39_cu117_pyt201/download.html

然后，为了下载所需的模型，请运行：

 bash quick_install.sh

以上安装包括下载火焰模型。这需要注册。如果您没有帐户，则可以在https://flame.is.tue.mpg.de/上注册

该命令还将下载假定的模型，该模型也可以在Google Drive上找到。

演示

我们提供两个演示。一个可用于在单个图像上测试模型的一种

python demo.py --input_path样本/test_image2.png -out_path结果/ -  checkpoint pretraining_models/smirk_em1.pt  -  crop-crop-crop-crop

并且可以用来在视频上测试模型的一种

python demo_video.py --input_path samples/dafoe.mp4 -out_path results/-checkpoint pretraining_models/smirk_em1.pt -crop -crop -render_orig

训练

数据集准备

Smikk接受了以下数据集的组合培训：LRS3，Mead，Celeba和FFHQ。

§§从这里加载LRS3数据集。我们知道目前该数据集已从网站上删除。它可以用任何其他类似的数据集替换，例如LRS2。
从这里下载米德数据集。
从这里下载Celeba数据集。您可以直接下载对齐的图像img_align_celeba.zip 。
从此处下载FFHQ256数据集。

下载数据集后，我们需要使用MediaPipe和Fan提取地标。我们提供用于在datasets/preprocess_scripts中进行预处理的脚本。示例用法：

 python数据集/preprocess_scripts/apply_mediapipe_to_dataset.py--input_dir path_to_ffhq256/images -output_dir path_to_to_ffhq256/mediapipe_landmarkss

对于粉丝：

 python数据集/preprocess_scripts/apply_fan_to_dataset.py --input_dir path_to_ffhq256/images -of -output_dir path_to_to_ffhq256/fan_landmarks

请注意，对于获取风扇地标，我们在https://github.com/hhj1897/face_alignment中使用该实现。

接下来，请确保在configs中更新配置文件，并使用正确的路径到数据集及其地标。

预处理

在预处理阶段，我们仅使用提取的地标和云母的输出来训练所有3个编码器（姿势，形状和表达）。

 python train.py configs/config_pretrain.yaml train.log_path =“ logs/prebrain”

训练

预处理后，在傻笑的核心阶段，我们将形状和姿势编码器冻结，并用完整的傻笑框架（重建路径和循环路径）训练表达编码器。

 python train.py configs/config_train.yaml简历= logs/priprain/firt_stage_pretraining_encoder.pt train.loss_weights.emotion_loss = 1.0

引用

如果您觉得这项工作有用，请考虑引用：

 @inproceedings {smikk：cvpr：2024，title = {3D面部表达，通过分析by-by-nural-synsysis}，作者= {retsinas，George和filntisis，Panagiotis P.和Danecek，Danecek，Danecek，Radek和Radek和Radek和Abrevaya，Victoria F.和Roussos， ，Anastasios和Bolkart，Timo和Maragos，Petros}，BookTitle = {计算机视觉和模式识别会议（CVPR）}，年= {2024}}