通过多视图分数蒸馏来保护身份的 3D 头部风格化

Bahri Batuhan Bilecen、Ahmet Berke Gokmen、Furkan Guzelant 和 Aysegul Dundar

预告片

3D 头部风格化将逼真的面部特征转化为艺术表现形式，从而增强用户在游戏和虚拟现实应用程序中的参与度。虽然 3D 感知生成器已经取得了重大进步，但许多 3D 风格化方法主要提供近正面视图，并且难以保留原始主题的独特身份，常常导致输出缺乏多样性和个性。本文通过利用 PanoHead 模型从全面的 360 度视角合成图像来解决这些挑战。我们提出了一种新颖的框架，采用负对数似然蒸馏（LD）来增强身份保存并提高风格化质量。通过在 3D GAN 架构中集成多视图网格评分和镜像梯度并引入评分排名权重技术，我们的方法实现了实质性的定性和定量改进。我们的研究结果不仅推进了 3D 头部风格化的发展，还为扩散模型和 GAN 之间的有效蒸馏过程提供了宝贵的见解，重点关注身份保存的关键问题。

要求和安装

确保您有 64 位 Python 3.8、PyTorch 11.1（或更高版本）和 CUDA 11.3（或更高版本）。
最好通过 conda 或 venv 创建新环境并激活该环境。
克隆存储库： git clone --recursive https://github.com/three-bee/3d_head_stylization.git
安装 pip 依赖项： cd ./3d_head_stylization && pip install -r requirements.txt

✂️数据集准备

我们遵循 PanoHead 的姿势提取和面部对齐方法。为此，您需要遵循 PanoHead 的设置过程，并确保不要跳过3DDFA_V2 的设置。然后，运行PanoHead/projector.py并省略project_pti阶段以仅执行 W+ 编码。

为了您的方便，我们在example文件夹中提供了几个现实生活中的身份的 W+ 潜伏。

？检查站

将所有网络下载到您所需的位置。我们还为此链接中的几个提示提供了程式化的生成器检查点。

网络	文件名	地点
全景头	`easy-khair-180-gpc0.8-trans10-025000.pkl`	`${G_ckpt_path}`
现实视觉 v5.1	`Realistic_Vision_V5.1_noVAE/`	`${diff_ckpt_path}`
控制网络边缘	`sd-controlnet-canny/`	`${controlnet_edge_path}`
控制网络深度	`sd-controlnet-depth/`	`${controlnet_depth_path}`
深度任意V2	`depth_anything_v2_vitb.pth`	`${depth_path}`

快速入门

使用此链接中给出的检查点路径更改${stylized_G_ckpt_path} 。 example文件夹提供了几个现实生活中的 W+ 编码头。为latent_list_path提供无效路径将使合成样本的synth_sample_num风格化。

 python infer_LD.py 
    --save_path "work_dirs/demo" 
    --G_ckpt_path ${G_ckpt_path} 
    --stylized_G_ckpt_path ${stylized_G_ckpt_path} 
    --latent_list_path "example" 
    --synth_sample_num 10

？训练

更改prompt和save_path 。您可以使用训练文件中的其他超参数。

 python train_LD.py 
    --prompt "Portrait of a werewolf" 
    --save_path "work_dirs/demo" 
    --diff_ckpt_path ${diff_ckpt_path} 
    --depth_path ${depth_path} 
    --G_ckpt_path ${G_ckpt_path} 
    --controlnet_edge_path ${controlnet_edge_path} 
    --controlnet_depth_path ${controlnet_depth_path}

？引文

 @misc{bilecen2024identitypreserving3dhead,
      title={Identity Preserving 3D Head Stylization with Multiview Score Distillation}, 
      author={Bahri Batuhan Bilecen and Ahmet Berke Gokmen and Furkan Guzelant and Aysegul Dundar},
      year={2024},
      url={https://arxiv.org/abs/2411.13536},
}

展开

附加信息