透過多視圖分數蒸餾來保護身分的 3D 頭部風格化

Bahri Batuhan Bilecen、Ahmet Berke Gokmen、Furkan Guzelant 和 Aysegul Dundar

預告片

3D 頭部風格化將逼真的臉部特徵轉化為藝術表現形式，增強了使用者在遊戲和虛擬實境應用程式中的參與度。雖然 3D 感知產生器已經取得了重大進步，但許多 3D 風格化方法主要提供近正面視圖，並且難以保留原始物件的獨特身份，常常導致輸出缺乏多樣性和個性。本文透過利用 PanoHead 模型從全面的 360 度視角合成影像來解決這些挑戰。我們提出了一種新穎的框架，採用負對數似然蒸餾（LD）來增強身份保存並提高風格化品質。透過在 3D GAN 架構中整合多視圖網格評分和鏡像梯度並引入評分排名權重技術，我們的方法實現了實質的定性和定量改進。我們的研究結果不僅推進了 3D 頭部風格化的發展，還為擴散模型和 GAN 之間的有效蒸餾過程提供了寶貴的見解，重點關注身份保存的關鍵問題。

要求和安裝

確保您有 64 位元 Python 3.8、PyTorch 11.1（或更高版本）和 CUDA 11.3（或更高版本）。
最好透過 conda 或 venv 創建新環境並啟動該環境。
複製儲存庫： git clone --recursive https://github.com/three-bee/3d_head_stylization.git
安裝 pip 依賴項： cd ./3d_head_stylization && pip install -r requirements.txt

✂️資料集準備

我們遵循 PanoHead 的姿勢提取和臉部對齊方法。為此，您需要遵循 PanoHead 的設定流程，並確保不要跳過3DDFA_V2 的設定。然後，執行PanoHead/projector.py並省略project_pti階段以僅執行 W+ 編碼。

為了您的方便，我們在example資料夾中提供了幾個現實生活中的身份的 W+ 潛伏。

？檢查站

將所有網路下載到您所需的位置。我們也為此連結中的幾個提示提供了程式化的生成器檢查點。

網路	檔案名稱	地點
全景頭	`easy-khair-180-gpc0.8-trans10-025000.pkl`	`${G_ckpt_path}`
現實視覺 v5.1	`Realistic_Vision_V5.1_noVAE/`	`${diff_ckpt_path}`
控製網路邊緣	`sd-controlnet-canny/`	`${controlnet_edge_path}`
控製網路深度	`sd-controlnet-depth/`	`${controlnet_depth_path}`
深度任意V2	`depth_anything_v2_vitb.pth`	`${depth_path}`

快速入門

使用此連結中給出的檢查點路徑變更${stylized_G_ckpt_path} 。 example資料夾提供了幾個現實生活中的 W+ 編碼頭。為latent_list_path提供無效路徑將使合成樣本的synth_sample_num風格化。

 python infer_LD.py 
    --save_path "work_dirs/demo" 
    --G_ckpt_path ${G_ckpt_path} 
    --stylized_G_ckpt_path ${stylized_G_ckpt_path} 
    --latent_list_path "example" 
    --synth_sample_num 10

？訓練

更改prompt和save_path 。您可以使用訓練文件中的其他超參數。

 python train_LD.py 
    --prompt "Portrait of a werewolf" 
    --save_path "work_dirs/demo" 
    --diff_ckpt_path ${diff_ckpt_path} 
    --depth_path ${depth_path} 
    --G_ckpt_path ${G_ckpt_path} 
    --controlnet_edge_path ${controlnet_edge_path} 
    --controlnet_depth_path ${controlnet_depth_path}

？引文

 @misc{bilecen2024identitypreserving3dhead,
      title={Identity Preserving 3D Head Stylization with Multiview Score Distillation}, 
      author={Bahri Batuhan Bilecen and Ahmet Berke Gokmen and Furkan Guzelant and Aysegul Dundar},
      year={2024},
      url={https://arxiv.org/abs/2411.13536},
}

展開

附加信息