เมื่อเร็วๆ นี้ ทีมวิจัยที่มหาวิทยาลัย Carnegie Mellon ได้เปิดตัวเทคโนโลยีใหม่ล่าสุด DressRecon ซึ่งสามารถสร้างแบบจำลอง 3 มิติที่มีรายละเอียดสม่ำเสมอตามเวลาและรายละเอียดของร่างกายมนุษย์จากวิดีโอแบบตาข้างเดียว แตกต่างจากวิธีการฟื้นฟูร่างกายมนุษย์ก่อนหน้านี้ที่ต้องใช้เสื้อผ้ารัดรูปหรือข้อมูลหลายมุมมอง DressRecon สามารถจัดการกับฉากที่สวมเสื้อผ้าหลวมๆ หรือแม้แต่ถือสิ่งของต่างๆ ได้ ซึ่งขยายขอบเขตการใช้งานได้อย่างมาก และนำนวัตกรรมมาสู่สาขาต่างๆ เช่น การสร้างภาพเสมือนจริงและการผลิตแอนิเมชั่น เครื่องมือแก้ไข Downcodes จะทำให้คุณมีความเข้าใจเชิงลึกเกี่ยวกับเทคโนโลยีที่น่าประทับใจนี้
เมื่อเร็ว ๆ นี้ ทีมวิจัยที่มหาวิทยาลัย Carnegie Mellon ได้เปิดตัวเทคโนโลยีใหม่ที่เรียกว่า "DressRecon" ซึ่งมีจุดมุ่งหมายเพื่อสร้างแบบจำลองมนุษย์ที่สอดคล้องกับเวลาจากวิดีโอแบบตาข้างเดียว ข้อดีของ DressRecon คือไม่เพียงแต่คุณสามารถป้อนวิดีโอเพื่อสร้างโมเดล 3 มิติเท่านั้น แต่ยังสามารถคืนรายละเอียดเล็กๆ น้อยๆ เช่น เสื้อผ้าที่ซับซ้อนและสิ่งของที่ถือด้วยมือได้อีกด้วย
เทคโนโลยีนี้เหมาะอย่างยิ่งสำหรับสถานการณ์ที่คุณสวมเสื้อผ้าหลวมๆ หรือมีปฏิสัมพันธ์กับสิ่งของที่ถือ ซึ่งก้าวข้ามขีดจำกัดของเทคโนโลยีก่อนหน้านี้ ในอดีต การสร้างร่างกายมนุษย์ใหม่มักจะต้องสวมเสื้อผ้าที่รัดรูป หรือต้องมีการปรับเทียบหลายมุมมองเพื่อเก็บข้อมูล หรือแม้แต่การสแกนเฉพาะบุคคล ซึ่งยากต่อการรวบรวมในขนาดใหญ่
นวัตกรรมของ "DressRecon" คือการผสานรวมความรู้ทั่วไปเกี่ยวกับรูปร่างของมนุษย์และการเปลี่ยนรูปร่างของร่างกายโดยเฉพาะในวิดีโอ และสามารถปรับให้เหมาะสมภายในวิดีโอได้
แกนหลักของเทคโนโลยีนี้คือการเรียนรู้แบบจำลองทางระบบประสาทที่สามารถจัดการกับความผิดปกติของร่างกายและเสื้อผ้าแยกจากกัน และสร้างเลเยอร์แบบจำลองการเคลื่อนไหวแยกกัน
เพื่อจับภาพลักษณะทางเรขาคณิตที่ละเอียดอ่อนของเสื้อผ้า ทีมวิจัยได้ใช้ความรู้เดิมโดยอิงจากรูปภาพ รวมถึงท่าทางของมนุษย์ ลักษณะพื้นผิวปกติ และการไหลของแสง ข้อมูลนี้ให้การสนับสนุนเพิ่มเติมในระหว่างกระบวนการปรับให้เหมาะสม ทำให้เอฟเฟกต์การสร้างใหม่สมจริงยิ่งขึ้น
DressRecon สามารถแยกโมเดล 3 มิติที่มีความเที่ยงตรงสูงจากอินพุตวิดีโอเดียว และยังสามารถปรับให้เหมาะสมเพิ่มเติมเป็น 3D Gaussians ที่ชัดเจน เพื่อปรับปรุงคุณภาพการเรนเดอร์และรองรับการแสดงภาพเชิงโต้ตอบ
นักวิจัยได้สาธิตเอฟเฟกต์การสร้างใหม่ 3 มิติที่มีความเที่ยงตรงสูงที่ DressRecon สามารถทำได้กับชุดข้อมูลการเสียรูปของเสื้อผ้าและการโต้ตอบของวัตถุที่ท้าทาย
นอกจากนี้ ภาพมนุษย์เสมือนที่สร้างขึ้นใหม่สามารถเรนเดอร์ได้จากทุกมุม ซึ่งแสดงเอฟเฟกต์ที่มีผลกระทบต่อการมองเห็นอย่างมาก ทีมงานยังเปรียบเทียบประสิทธิภาพของ DressRecon กับเทคโนโลยีพื้นฐานหลายอย่างในการสร้างรูปร่างใหม่ ผลการวิจัยพบว่า DressRecon มีความเที่ยงตรงสูงกว่าเมื่อประมวลผลโครงสร้างที่ผิดรูปที่ซับซ้อน
ทางเข้าโครงการ: https://jefftan969.github.io/dressrecon/
ไฮไลท์:
ทีมวิจัยเปิดตัวเทคโนโลยี DressRecon เพื่อสร้างร่างกายมนุษย์ใหม่คุณภาพสูงผ่านวิดีโอตาข้างเดียว โดยเฉพาะอย่างยิ่งเหมาะสำหรับฉากที่เสื้อผ้าหลวมและวัตถุที่ถือด้วยมือ
เทคโนโลยีนี้จะจัดการกับความผิดปกติของร่างกายและเสื้อผ้าแยกจากกันโดยใช้แบบจำลองโดยนัยของระบบประสาท และบันทึกลักษณะทางเรขาคณิตที่ละเอียดอ่อนด้วยความช่วยเหลือจากความรู้เดิมเกี่ยวกับฐานภาพ
ผลลัพธ์การสร้างใหม่ไม่เพียงแต่สามารถสร้างโมเดลสามมิติที่มีความเที่ยงตรงสูงเท่านั้น แต่ยังรองรับการเรนเดอร์จากทุกมุม เพื่อปรับปรุงประสบการณ์การมองเห็น
การเกิดขึ้นของเทคโนโลยี DressRecon จะช่วยส่งเสริมการพัฒนาเทคโนโลยีการสร้างแบบจำลองร่างกายมนุษย์ 3 มิติให้ก้าวไปข้างหน้าอย่างไม่ต้องสงสัย คุณสมบัติที่มีประสิทธิภาพและสะดวกสบาย รวมถึงความสามารถในการประมวลผลที่ยอดเยี่ยมสำหรับฉากที่ซับซ้อน นำความเป็นไปได้ที่ไม่จำกัดมาสู่สาขาความเป็นจริงเสมือน การผลิตแอนิเมชั่น การพัฒนาเกม และสาขาอื่น ๆ ในอนาคต เราหวังเป็นอย่างยิ่งว่าเทคโนโลยีนี้จะตระหนักถึงศักยภาพที่ยอดเยี่ยมในสถานการณ์การใช้งานที่มากขึ้น!