阿里巴巴達摩院的研究團隊在NeurIPS 2024會議上發表了題為「SHMT:自監督層級化妝轉移」的論文，該研究提出了一種新穎的化妝效果轉移技術。這項技術利用潛在擴散模型(Latent Diffusion Models)精準生成化妝影像，在化妝應用和影像處理領域具有巨大的應用前景。 SHMT模型只需一張化妝參考圖和一張目標人物照片，就能將妝容效果遷移到目標臉上，大大簡化了化妝效果的編輯和應用流程。團隊開源了訓練程式碼、測試程式碼和預訓練模型，方便研究人員進行進一步的研究和開發。
近日，阿里巴巴達摩院的研究團隊發布了一項重要研究成果，名為“SHMT:自監督層次化妝轉移”，該論文已被國際頂級學術會議NeurIPS2024接收。這項研究展示了一種新的化妝效果轉移技術，利用潛在擴散模型（Latent Diffusion Models）來實現化妝圖像的精準生成，為化妝應用和圖像處理領域注入了新活力。
簡單的說，SHMT是一項妝容遷移技術，只要一個化妝的參考圖，和一張目標角色照片，就可以把妝容效果遷移到該目標臉上。
團隊在專案中採用了開源的方式，發布了訓練程式碼、測試程式碼以及預訓練模型，使得研究人員能夠更方便地進行相關研究和開發。
在模型的建置過程中，團隊推薦使用者建立一個名為「ldm」 的conda 環境，並透過提供的環境檔案快速完成設定。此外，研究中選用了VQ-f4作為預先訓練的自編碼模型，使用者需下載並放入指定的檢查點資料夾，以便順利開始推理。
資料準備是SHMT 模型成功運作的關鍵。研究團隊建議下載「BeautyGAN」 提供的化妝遷移資料集，並將不同的化妝和非化妝圖像整合。同時，臉部解析和3D 臉部資料的準備也至關重要，相關工具和資料路徑在研究中進行了詳細說明，以確保使用者能夠有效地進行資料準備。
在模型訓練與推理方面，研究團隊提供了詳細的命令列腳本，使用者可根據自身需求調整參數。團隊也特別強調了資料結構的重要性，提供了清晰的目錄結構範例，指導使用者如何準備資料。
SHMT 模型的推出，標誌著自監督學習在化妝效果遷移領域的成功應用，未來可能在美容、美妝和圖像處理等行業中廣泛應用。這項研究不僅展示了技術的潛力，同時也為相關領域的深入研究打下了堅實的基礎。
專案入口:https://github.com/Snowfallingplum/SHMT
劃重點:
1. SHMT 模型利用潛在擴散模型實現化妝效果轉移，已被NeurIPS2024接收。
2. 團隊提供完整的開源程式碼和預訓練模型，以便研究人員進行應用與改進。
3. 資料準備和參數調整至關重要，研究中詳細指導了操作流程和目錄結構。
總而言之，SHMT模型的開源發佈為化妝效果遷移研究提供了強大的工具和資源，其在美容、美妝及圖像處理領域的應用前景值得期待。 該研究的創新性和實用性使其成為該領域的重要突破，並為未來的相關研究奠定了堅實的基礎。