มหาวิทยาลัยซุนยัตเซ็นและทีมงาน Byte Digital Human ได้ร่วมกันพัฒนากรอบงานลองสวมเสมือนจริงที่เรียกว่า MMtryon กรอบงานนี้สามารถสร้างเอฟเฟกต์การลองสวมโมเดลคุณภาพสูงได้ในคลิกเดียว โดยการป้อนรูปภาพเสื้อผ้าและข้อความคำแนะนำในการสวมใส่ รองรับตัวละครในชีวิตจริงและตัวละครการ์ตูน ทำให้กระบวนการลองใช้งานเสมือนจริงง่ายขึ้นอย่างมาก เทคโนโลยีนี้ทลายข้อจำกัดของอัลกอริธึมแบบดั้งเดิม และบรรลุการประมวลผลที่แม่นยำของฉากการแต่งตัวที่ซับซ้อนและสไตล์เสื้อผ้าที่กำหนดเอง โดยไม่จำเป็นต้องแบ่งเสื้อผ้าอย่างละเอียด ซึ่งช่วยปรับปรุงประสิทธิภาพและความสะดวกสบายอย่างมาก
เมื่อเร็ว ๆ นี้ มหาวิทยาลัยซุนยัตเซ็นและทีมงาน Byte Digital Human ได้สร้างข่าวใหญ่ พวกเขาเสนอกรอบการทดลองเสมือนจริงที่เรียกว่า MMtryon สิ่งนี้ไม่ใช่เรื่องง่าย ตราบใดที่คุณป้อนรูปภาพเสื้อผ้าสองสามภาพและเพิ่มคำแนะนำเล็กน้อยเกี่ยวกับวิธีการสวมใส่ คุณสามารถสร้างเอฟเฟกต์การลองสวมโมเดลได้ในคลิกเดียว และคุณภาพสูงมาก
ลองจินตนาการว่าคุณเลือกเสื้อโค้ท กางเกง และกระเป๋า จากนั้นเพียงคลิกเดียว พวกมันก็จะถูกใส่ลงในแนวตั้งโดยอัตโนมัติ ไม่ว่าคุณจะเป็นคนจริงหรือเป็นตัวการ์ตูน คุณสามารถทำได้ด้วยคลิกเดียว การดำเนินการนี้เจ๋งมาก!
ยิ่งไปกว่านั้น พลังของ MMtryon ไม่ได้หยุดอยู่แค่นั้น ในแง่ของการตกแต่งภาพเดี่ยวนั้น ระบบจะใช้ข้อมูลจำนวนมากในการออกแบบตัวเข้ารหัสเสื้อผ้าที่สามารถจัดการฉากแต่งตัวที่ซับซ้อนต่างๆ และเสื้อผ้าทุกสไตล์ได้ สำหรับการผสมผสานการเปลี่ยนแปลงเสื้อผ้า มันทำลายการพึ่งพาอัลกอริธึมแบบดั้งเดิมในการแบ่งส่วนเสื้อผ้าอย่างละเอียด ซึ่งสามารถทำได้ด้วยคำสั่งข้อความ และเอฟเฟกต์ที่สร้างขึ้นนั้นมีทั้งความสมจริงและเป็นธรรมชาติ
ในการทดสอบเกณฑ์มาตรฐาน MMryon ชนะ SOTA ใหม่โดยตรง และผลลัพธ์นี้ไม่ใช่สิ่งที่ควรมองข้าม ทีมวิจัยยังได้พัฒนากลไกความสนใจที่มีการอ้างอิงหลายการอ้างอิงหลายรูปแบบเพื่อให้เอฟเฟกต์การแต่งกายมีความแม่นยำและยืดหยุ่นมากขึ้น โซลูชันการลองสวมเสมือนจริงก่อนหน้านี้อนุญาตให้คุณลองได้เพียงชิ้นเดียวเท่านั้น หรือคุณทำอะไรไม่ถูกกับสไตล์เสื้อผ้า แต่ตอนนี้ MMryon จะแก้ปัญหาทั้งหมดให้กับคุณ
นอกจากนี้ MMtryon ยังฉลาดมากอีกด้วย โดยใช้ตัวเข้ารหัสเสื้อผ้าที่มีความสามารถในการเป็นตัวแทนที่หลากหลาย ควบคู่ไปกับกระบวนการสร้างข้อมูลที่ปรับขนาดได้แบบใหม่ เพื่อให้กระบวนการตกแต่งไม่จำเป็นต้องมีการแบ่งส่วนใดๆ และสามารถบรรลุประสิทธิภาพระดับสูงได้โดยตรงผ่านข้อความและหลายรายการ ลองออบเจ็กต์ การแต่งตัวเสมือนคุณภาพ
การทดลองอย่างกว้างขวางเกี่ยวกับชุดข้อมูลโอเพ่นซอร์สและสถานการณ์ที่ซับซ้อนได้พิสูจน์แล้วว่า MMtryon มีประสิทธิภาพเหนือกว่าวิธี SOTA ที่มีอยู่ทั้งในด้านคุณภาพและเชิงปริมาณ ทีมวิจัยยังได้ฝึกอบรมตัวเข้ารหัสเสื้อผ้าล่วงหน้า โดยใช้ข้อความเป็นแบบสอบถามเพื่อเปิดใช้งานคุณลักษณะของพื้นที่ที่สอดคล้องกันของข้อความ กำจัดการพึ่งพาการแบ่งส่วนเสื้อผ้า
สิ่งที่ยอดเยี่ยมยิ่งกว่านั้นคือเพื่อฝึกการเปลี่ยนแปลงการแต่งกายแบบผสมผสาน ทีมวิจัยได้เสนอแบบจำลองการขยายข้อมูลตามแบบจำลองขนาดใหญ่ และสร้างชุดข้อมูลที่ปรับปรุงแล้ว 1 ล้านชุด ซึ่งทำให้ MMryon สามารถทดลองเสมือนจริงกับการเปลี่ยนแปลงการแต่งกายประเภทต่างๆ ได้ ผล.
MMtryon เป็นเหมือนเทคโนโลยีสีดำในอุตสาหกรรมแฟชั่น ไม่เพียงช่วยให้คุณลองเสื้อผ้าได้ในคลิกเดียว แต่ยังทำหน้าที่เป็นผู้ช่วยแต่งตัวแฟชั่นเพื่อช่วยคุณเลือกเสื้อผ้าอีกด้วย ในแง่ของตัวบ่งชี้เชิงปริมาณและการประเมินโดยมนุษย์ MMtryon เหนือกว่าโมเดลพื้นฐานอื่นๆ และให้ผลลัพธ์ที่ยอดเยี่ยม
ที่อยู่กระดาษ: https://arxiv.org/abs/2405.00448
โดยรวมแล้ว MMtryon ได้แสดงให้เห็นถึงศักยภาพในการใช้งานที่ยอดเยี่ยมในสาขาแฟชั่น ด้วยฟังก์ชันลองสวมเสมือนจริงที่มีประสิทธิภาพ แม่นยำ และสะดวกสบาย ซึ่งนำมาซึ่งการเปลี่ยนแปลงครั้งยิ่งใหญ่ในการออกแบบเสื้อผ้าและประสบการณ์การช็อปปิ้ง เทคโนโลยีชั้นนำและประสิทธิภาพที่โดดเด่นทำให้เป็นมาตรฐานใหม่ในด้านการทดลองใช้งานเสมือนจริง