唇合成

通过中间标志表示进行视听唇形合成 | Wish Suharitdamrong 的最后一年项目（论文）

这是萨里大学计算机科学学士 Wish Suharitdamrong 的最后一年项目第 3 年的代码实现，主题是通过中间地标表示进行视听唇形合成。

演示

在线演示可在 ?抱脸

安装

使用 conda 或 pip 安装包有两种方法

1.从environment.yml创建虚拟conda环境

2.使用pip安装pakages（确保使用python 3.7或更高版本，因为旧版本可能不支持某些库）

使用康达

 # Create virtual environment from .yml file
conda env create -f environment.yml

# activate virtual environment
conda activate fyp

使用点

 # Use pip to install require packages
pip install -r requirement.txt

数据集

本项目使用的视听数据集是LRS2和LRS3。 LRS2 数据用于模型训练和评估。 LRS3数据仅用于模型评估。

数据集	页
远程RS2	关联
远程RS3	关联

预训练权重

发电机型号

下载权重生成器模型

模型	下载链接
发电机	关联
生成器 + 同步损失	关联
注意力生成器 + SyncLoss	关联

具有里程碑意义的 SyncNet 鉴别器

下载基于 Landmark 的 SyncNet 模型的权重 下载链接

图像到图像的翻译

Image2Image Translation 模型的预训练权重可以从 MakeItTalk 存储库的预训练模型部分 Repo Link 上下载。

目录

├── checkpoint #  Directory for model checkpoint
│   └── generator   # put Generator model weights here
│   └── syncnet     # put Landmark SyncNet model weights here
│   └── image2image # put Image2Image Translation model weights here 

运行推理

 python run_inference.py --generator_checkpoint  --image2image_checkpoint  --input_face  --input_audio 

数据预处理

我使用与 Wav2Lip 相同的数据预处理方法，有关文件夹结构的更多详细信息可以在他们的存储库中找到。

 python preprocess_data.py --data_root data_root/main --preprocessed_root preprocessed_lrs2_landmark/

火车模型

发电机

 # CLI for traning attention generator with pretrain landmark SyncNet discriminator
python run_train_generator.py --model_type attnlstm --train_type pretrain --data_root preprocessed_lrs2_landmark/ --checkpoint_dir 

地标同步网络

 # CLI for training pretrain landmark SyncNet discriminator
python run_train_syncnet.py --data_root preprocessed_lrs2_landmark/ --checkpoint_dir 

从 LRS2 和 LRS3 生成用于评估和基准测试的视频

本项目使用LRS2和LRS3数据集的数据进行定量评估，评估数据列表由Wav2Lip提供。文件列表（用于评估的视频和音频数据）和有关 Lip Sync 基准测试的详细信息可在其存储库中找到。

从文件列表生成评估

 cd evaluation
# generate evaluation videos
python gen_eval_vdo.py --filelist  --data_root   --model_type  --result_dir  --generator_checkpoint  --image2image_checkpoint 

致谢

该项目的代码库受到 Wav2Lip 和 MakeItTalk 的启发。我要感谢这两个项目的作者，他们在线提供了他们出色工作的代码实现。