Tencent AI Lab และ ARC Lab ของ Tencent PCG ร่วมกันเปิดตัวเฟรมเวิร์กใหม่ที่เรียกว่า StereoCrafter เทคโนโลยีนี้สามารถแปลงวิดีโอ 2D ธรรมดาให้เป็นวิดีโอ 3D สามมิติที่มีความคมชัดสูง ซึ่งนำการเปลี่ยนแปลงครั้งยิ่งใหญ่มาสู่ประสบการณ์ที่ดื่มด่ำ StereoCrafter ใช้เทคโนโลยีการเรียนรู้เชิงลึกเพื่อเอาชนะข้อจำกัดของวิธีการแปลงวิดีโอ 3D แบบดั้งเดิม ปรับปรุงเอฟเฟกต์การสร้างอย่างมีนัยสำคัญ และสามารถปรับให้เข้ากับข้อกำหนดความเที่ยงตรงสูงของอุปกรณ์แสดงผลต่างๆ เพื่อตอบสนองความต้องการเนื้อหา 3D ที่เพิ่มขึ้น
เมื่อเร็วๆ นี้ Tencent AI Lab และ ARC Lab ของ Tencent PCG ร่วมกันเปิดตัวเฟรมเวิร์กใหม่ที่เรียกว่า StereoCrafter ซึ่งสามารถแปลงวิดีโอ 2 มิติธรรมดาให้เป็นวิดีโอ 3 มิติสามมิติที่มีความคมชัดสูง
นวัตกรรมนี้ตอบสนองต่อความต้องการเนื้อหา 3 มิติที่เพิ่มขึ้น โดยเฉพาะอย่างยิ่งในด้านประสบการณ์ที่ดื่มด่ำ StereoCrafter ใช้ประโยชน์จากโมเดลพื้นฐานอย่างเต็มที่ เอาชนะข้อจำกัดของวิธีการแปลงแบบดั้งเดิม ปรับปรุงเอฟเฟกต์การสร้างอย่างมาก และรับประกันว่าเนื้อหาที่สร้างขึ้นสามารถตอบสนองความต้องการความเที่ยงตรงสูงของอุปกรณ์แสดงผลต่างๆ
แกนหลักของระบบแบ่งออกเป็นสองขั้นตอนหลัก ขั้นตอนแรกคือการรีแมปวิดีโอตามข้อมูลเชิงลึก แยกข้อมูลการบดบัง และดำเนินการแปลงวิดีโอไปพร้อมๆ กัน ขั้นตอนที่สองคือการซ่อมแซมวิดีโอสามมิติ ระบบใช้โมเดลการแพร่กระจายวิดีโอที่มีความเสถียรที่ได้รับการฝึกอบรมล่วงหน้าเป็นพื้นฐาน และแนะนำโปรโตคอลการปรับแต่งอย่างละเอียดสำหรับงานวาดภาพในวิดีโอสามมิติ เพื่อจัดการกับอินพุตวิดีโอที่มีความยาวและความละเอียดต่างกัน ทีมงานยังได้สำรวจกลยุทธ์การถดถอยอัตโนมัติและเทคนิคการประมวลผลการแบ่งส่วนเพื่อให้แน่ใจว่าระบบสามารถปรับให้เข้ากับเงื่อนไขอินพุตต่างๆ ได้อย่างยืดหยุ่น
เพื่อสนับสนุนการฝึกอบรม ทีมงานได้สร้างขั้นตอนการประมวลผลข้อมูลที่ซับซ้อนซึ่งสร้างชุดข้อมูลขนาดใหญ่และมีคุณภาพสูง ในระหว่างกระบวนการสร้างชุดข้อมูล ทีมวิจัยได้เลือกจากวิดีโอสามมิติจำนวนมาก และสร้างความลึกของวิดีโอ วิดีโอที่แปลงแล้ว และข้อมูลการบดบังที่สอดคล้องกันเพื่อให้แน่ใจว่าวิดีโอทางด้านขวาทำหน้าที่เป็นเกณฑ์มาตรฐานที่แท้จริง วิธีการที่เป็นนวัตกรรมใหม่เหล่านี้มอบโซลูชันที่ใช้งานได้จริงสำหรับการแปลงวิดีโอ 2D เป็นวิดีโอ 3D ช่วยให้ Apple Vision Pro และอุปกรณ์แสดงผล 3D อื่นๆ นำเสนอประสบการณ์ที่ดื่มด่ำที่น่าตื่นเต้นยิ่งขึ้น
StereoCrafter ไม่เพียงแต่เป็นความก้าวหน้าทางเทคโนโลยีเท่านั้น แต่ยังนำการเปลี่ยนแปลงที่อาจเกิดขึ้นมาสู่วิธีการรับประสบการณ์สื่อดิจิทัล ซึ่งอาจเปลี่ยนแปลงวิธีที่เรารับชมและสัมผัสเนื้อหาดิจิทัลอีกด้วย
ทางเข้าโครงการ: https://stereocrafter.github.io/
ไฮไลท์:
StereoCrafter ใช้เทคโนโลยีใหม่ในการแปลงวิดีโอ 2D ให้เป็นวิดีโอ 3D สามมิติที่ดื่มด่ำได้อย่างมีประสิทธิภาพ
ระบบแบ่งออกเป็นสองขั้นตอนหลัก: การสร้างวิดีโอเชิงลึกใหม่และการซ่อมแซมวิดีโอสามมิติเพื่อปรับปรุงเอฟเฟกต์การสร้าง
ทีมวิจัยสร้างชุดข้อมูลคุณภาพสูงเพื่อรองรับการฝึกอบรมอัลกอริทึมและรับประกันคุณภาพผลลัพธ์
การเกิดขึ้นของ StereoCrafter เป็นการก้าวกระโดดครั้งใหญ่ในเทคโนโลยีการแปลงวิดีโอ 2D เป็น 3D ประสิทธิภาพการแปลงที่มีประสิทธิภาพและคุณภาพเอาต์พุตที่มีความแม่นยำสูงจะช่วยเพิ่มคุณค่าให้กับการสร้างและการใช้เนื้อหา 3D อย่างมาก ทำให้ผู้ใช้ได้รับประสบการณ์ภาพและเสียงที่ดื่มด่ำยิ่งขึ้น ในอนาคตคาดว่าเทคโนโลยีนี้จะถูกนำไปใช้อย่างแพร่หลายในภาพยนตร์ เกม ความเป็นจริงเสมือน และสาขาอื่นๆ