สถาบันปัญญาประดิษฐ์ Beijing Zhiyuan (BAAI) ได้เปิดตัว See3D โมเดลการสร้าง 3 มิติสุดล้ำ ซึ่งใช้วิดีโออินเทอร์เน็ตขนาดใหญ่ที่ไม่มีป้ายกำกับเพื่อเรียนรู้และตระหนักถึงการสร้างโมเดล 3 มิติจากวิดีโอ ถือเป็น "ดูวิดีโอ รับความก้าวหน้าครั้งใหญ่ในแนวคิดของ 3 มิติ" โมเดล See3D ไม่จำเป็นต้องพึ่งพาพารามิเตอร์ของกล้องแบบเดิมและคำอธิบายประกอบแบบ 3 มิติ ด้วยเทคโนโลยีสภาพภาพ ทำให้สามารถสร้างภาพหลายมุมมองพร้อมทิศทางของกล้องที่ควบคุมได้และรูปทรงเรขาคณิตที่สม่ำเสมอโดยใช้เพียงเบาะแสภาพในวิดีโอ ซึ่งช่วยลดต้นทุนและความยากในการ การได้รับข้อมูล 3 มิติ นำความเป็นไปได้ใหม่ๆ มาสู่เทคโนโลยีการสร้าง 3 มิติ
โมเดล See3D รองรับการสร้างโมเดล 3 มิติจากข้อความ มุมมองเดี่ยว และมุมมองแบบกระจาย และมีฟังก์ชันการแก้ไข 3 มิติและการเรนเดอร์แบบเกาส์เซียน โมเดล โค้ด และการสาธิตนี้เป็นแบบโอเพ่นซอร์สเพื่ออำนวยความสะดวกในการศึกษาและการประยุกต์ใช้ในเชิงลึกโดยนักวิจัย See3D มีสถานการณ์การใช้งานที่หลากหลาย รวมถึงการปลดล็อกโลกเชิงโต้ตอบ 3 มิติ การสร้างภาพ 3 มิติขึ้นใหม่โดยใช้ภาพที่กระจัดกระจาย การสร้าง 3 มิติแบบโลกเปิด และการสร้าง 3 มิติแบบมุมมองเดียว ข้อได้เปรียบหลักอยู่ที่ความสามารถในการปรับขนาดข้อมูล ความสามารถในการควบคุมกล้อง และความสม่ำเสมอทางเรขาคณิต ด้วยการสร้างชุดข้อมูล WebVi3D ที่ประกอบด้วยคลิปวิดีโอ 16 ล้านคลิปและรูปภาพ 320 ล้านเฟรม ทำให้ได้รับการปรับปรุงที่สำคัญในเทคโนโลยีการสร้าง 3D
ทีมวิจัยสร้างชุดข้อมูล WebVi3D ขนาดใหญ่โดยการกรองข้อมูลวิดีโอโดยอัตโนมัติ และโดยการเพิ่มสัญญาณรบกวนตามเวลาให้กับข้อมูลวิดีโอที่สวมหน้ากาก ได้สร้างสัญญาณภาพ 2D ล้วนๆ เพื่อรองรับการฝึกอบรมโมเดลการแพร่กระจายหลายมุมมองที่ปรับขนาดได้ และบรรลุผล 3D โดยไม่ต้องใช้กล้องในท้ายที่สุด การสร้างเงื่อนไข การเกิดขึ้นของ See3D ได้นำแนวคิดใหม่ๆ มาสู่วงการการสร้าง 3D ซึ่งคาดว่าจะส่งเสริมการประยุกต์ใช้ข้อมูลคำอธิบายประกอบแบบไร้กล้องขนาดใหญ่ในการวิจัย 3D ลดต้นทุนในการรวบรวมข้อมูล 3D และลดช่องว่างจากที่มีอยู่แบบปิด - โซลูชั่น 3D ที่มา
ข้อดีของ See3D คือความสามารถในการปรับขนาดข้อมูล ความสามารถในการควบคุมกล้อง และความสม่ำเสมอทางเรขาคณิต โดยสามารถสร้างฉากภายใต้วิถีกล้องที่ซับซ้อน และรักษาความสอดคล้องทางเรขาคณิตของมุมมองเฟรมด้านหน้าและด้านหลัง ซึ่งทำให้ See3D สามารถใช้งานได้อย่างกว้างขวางในแอปพลิเคชันการสร้าง 3D ที่หลากหลาย
ด้วยการขยายขนาดของชุดข้อมูล See3D มอบแนวคิดใหม่ๆ สำหรับการพัฒนาเทคโนโลยีการสร้าง 3 มิติ หวังว่างานนี้จะสามารถส่งเสริมความสนใจของชุมชนการวิจัย 3 มิติต่อข้อมูลคำอธิบายประกอบแบบไม่ใช้กล้องขนาดใหญ่ ลดต้นทุนในการรวบรวมข้อมูล 3 มิติ และลดช่องว่างที่มีอยู่ระหว่างโซลูชัน 3D แบบปิด
ที่อยู่โครงการ: https://vision.baai.ac.cn/see3d
โดยรวมแล้ว การเปิดตัวโมเดล See3D แบบโอเพนซอร์สได้นำความก้าวหน้าทางเทคโนโลยีและทิศทางการพัฒนาใหม่ๆ มาสู่วงการการสร้าง 3D อนาคตและการประยุกต์ใช้