ทีมวิจัยของ Alibaba Damo Academy ตีพิมพ์บทความเรื่อง "SHMT: Self-supervised Hierarchical Makeup Transfer" ในการประชุม NeurIPS 2024 งานวิจัยนี้ได้เสนอเทคโนโลยีการถ่ายโอนเอฟเฟกต์การแต่งหน้าแบบใหม่ เทคโนโลยีนี้ใช้โมเดลการแพร่กระจายแฝงเพื่อสร้างภาพการแต่งหน้าอย่างแม่นยำ และมีแนวโน้มการใช้งานที่ยอดเยี่ยมในด้านการแต่งหน้าและการประมวลผลภาพ โมเดล SHMT ต้องการเพียงรูปภาพอ้างอิงการแต่งหน้าและรูปถ่ายของบุคคลเป้าหมายเพื่อถ่ายโอนเอฟเฟกต์การแต่งหน้าไปยังใบหน้าเป้าหมาย ทำให้ขั้นตอนการแก้ไขและการใช้เอฟเฟกต์การแต่งหน้าง่ายขึ้นอย่างมาก ทีมงานได้ใช้โอเพ่นซอร์สรหัสการฝึกอบรม รหัสทดสอบ และแบบจำลองก่อนการฝึกอบรม เพื่ออำนวยความสะดวกในการวิจัยและพัฒนาเพิ่มเติมโดยนักวิจัย
เมื่อเร็วๆ นี้ ทีมวิจัยของ Alibaba Damo Academy ได้เผยแพร่ผลการวิจัยที่สำคัญชื่อ "SHMT: Self-supervised Hierarchical Makeup Transfer" บทความนี้ได้รับการยอมรับจากการประชุมวิชาการระดับนานาชาติชั้นนำ NeurIPS2024 งานวิจัยนี้สาธิตเทคโนโลยีการถ่ายโอนเอฟเฟกต์เมคอัพแบบใหม่ที่ใช้โมเดลการแพร่กระจายแฝง (Latent Diffusion Models) เพื่อสร้างภาพการแต่งหน้าที่แม่นยำ โดยเติมพลังใหม่ให้กับการใช้งานด้านการแต่งหน้าและการประมวลผลภาพ
พูดง่ายๆ ก็คือ SHMT เป็นเทคโนโลยีการถ่ายโอนการแต่งหน้า ตราบใดที่ใช้รูปภาพอ้างอิงการแต่งหน้าและรูปถ่ายของตัวละครเป้าหมาย เอฟเฟกต์การแต่งหน้าก็สามารถถ่ายโอนไปยังใบหน้าของเป้าหมายได้
ทีมงานนำแนวทางโอเพ่นซอร์สมาใช้ในโครงการ และเผยแพร่โค้ดการฝึกอบรม รหัสทดสอบ และโมเดลก่อนการฝึกอบรม ทำให้นักวิจัยดำเนินการวิจัยและพัฒนาที่เกี่ยวข้องได้ง่ายขึ้น
ในระหว่างกระบวนการสร้างโมเดล ทีมงานแนะนำให้ผู้ใช้สร้างสภาพแวดล้อม conda ชื่อ "ldm" และดำเนินการตั้งค่าอย่างรวดเร็วผ่านไฟล์สภาพแวดล้อมที่ให้มา นอกจากนี้ VQ-f4 ยังได้รับเลือกให้เป็นโมเดลการเข้ารหัสอัตโนมัติที่ได้รับการฝึกล่วงหน้าในการศึกษานี้ ผู้ใช้จำเป็นต้องดาวน์โหลดและวางลงในโฟลเดอร์จุดตรวจสอบที่ระบุเพื่อเริ่มการอนุมานได้อย่างราบรื่น
การเตรียมข้อมูลเป็นกุญแจสำคัญสู่ความสำเร็จของการดำเนินการของแบบจำลอง SHMT ทีมวิจัยแนะนำให้ดาวน์โหลดชุดข้อมูลการถ่ายโอนการแต่งหน้าที่จัดทำโดย “BeautyGAN” และรวมภาพที่แต่งหน้าและไม่ใช่การแต่งหน้าต่างๆ ในเวลาเดียวกัน การเตรียมการแยกวิเคราะห์ใบหน้าและข้อมูลใบหน้า 3 มิติก็มีความสำคัญเช่นกัน โดยมีรายละเอียดเครื่องมือและเส้นทางข้อมูลที่เกี่ยวข้องในการศึกษาเพื่อให้แน่ใจว่าผู้ใช้สามารถเตรียมข้อมูลได้อย่างมีประสิทธิภาพ
ในแง่ของการฝึกอบรมโมเดลและการอนุมาน ทีมวิจัยได้จัดเตรียมสคริปต์บรรทัดคำสั่งโดยละเอียด เพื่อให้ผู้ใช้สามารถปรับพารามิเตอร์ตามความต้องการของตนเองได้ ทีมงานยังเน้นย้ำถึงความสำคัญของโครงสร้างข้อมูลเป็นพิเศษ โดยให้ตัวอย่างโครงสร้างไดเร็กทอรีที่ชัดเจนเพื่อเป็นแนวทางแก่ผู้ใช้ในการเตรียมข้อมูล
การเปิดตัวโมเดล SHMT ถือเป็นความสำเร็จในการประยุกต์ใช้การเรียนรู้แบบมีผู้ดูแลด้วยตนเองในด้านการถ่ายโอนเอฟเฟกต์การแต่งหน้า และอาจใช้กันอย่างแพร่หลายในด้านความงาม เครื่องสำอาง การประมวลผลภาพ และอุตสาหกรรมอื่น ๆ ในอนาคต งานวิจัยนี้ไม่เพียงแต่แสดงให้เห็นถึงศักยภาพของเทคโนโลยีเท่านั้น แต่ยังวางรากฐานที่มั่นคงสำหรับการวิจัยเชิงลึกในสาขาที่เกี่ยวข้องอีกด้วย
ทางเข้าโครงการ: https://github.com/Snowfallingplum/SHMT
ไฮไลท์:
1. โมเดล SHMT ใช้โมเดลการแพร่กระจายแฝงเพื่อให้เกิดการถ่ายโอนเอฟเฟกต์เมคอัพ และได้รับการยอมรับจาก NeurIPS2024
2. ทีมงานจัดทำโค้ดโอเพ่นซอร์สที่สมบูรณ์และแบบจำลองที่ได้รับการฝึกอบรมล่วงหน้าเพื่ออำนวยความสะดวกในการประยุกต์ใช้และปรับปรุงนักวิจัย
3. การเตรียมข้อมูลและการปรับพารามิเตอร์มีความสำคัญ และการศึกษาจะให้คำแนะนำโดยละเอียดเกี่ยวกับกระบวนการดำเนินการและโครงสร้างไดเรกทอรี
โดยรวมแล้ว การเปิดตัวโมเดล SHMT แบบโอเพ่นซอร์สมอบเครื่องมือและแหล่งข้อมูลอันทรงพลังสำหรับการวิจัยการย้ายเอฟเฟ็กต์เมคอัพ และโอกาสในการประยุกต์ใช้งานในด้านความงาม เครื่องสำอาง และการประมวลผลภาพก็คุ้มค่ากับการรอคอย นวัตกรรมและการปฏิบัติจริงของงานวิจัยนี้ทำให้เกิดความก้าวหน้าครั้งสำคัญในสาขานี้ และวางรากฐานที่มั่นคงสำหรับการวิจัยที่เกี่ยวข้องในอนาคต