See3D, das neueste 3D-Generierungsmodell des Beijing Zhiyuan Artificial Intelligence Research Institute (BAAI), hat einen technologischen Durchbruch bei der Verwendung riesiger unbeschrifteter Internetvideos zur Generierung von 3D-Szenen erzielt. Dieses Modell ist nicht auf herkömmliche Kameraparameter und 3D-Anmerkungen angewiesen. Es kann Multi-View-Bilder mit steuerbaren Kamerarichtungen und konsistenter Geometrie erzeugen, indem es nur visuelle Hinweise im Video verwendet, was die Kosten und den Schwierigkeitsgrad der 3D-Datenerfassung erheblich reduziert. See3D unterstützt eine Vielzahl von 3D-Generierungsmethoden, einschließlich textbasierter Einzelansichts- und Sparse-View-Generierung, und ist in der Lage, 3D zu bearbeiten und Gaußsches Rendering durchzuführen. Sein Anwendungsbereich deckt viele Bereiche wie interaktive 3D-Welt, 3D-Rekonstruktion und offene Welt ab 3D-Generierung. Zeigt starkes Anwendungspotenzial. Der Modellcode und die Demo wurden als Open Source bereitgestellt, um Forschern die weitere Erkundung und Anwendung zu erleichtern.
Das Training des See3D-Modells basiert auf einem WebVi3D-Datensatz, der 16 Millionen Videoclips und 320 Millionen Bilder enthält. Durch Hinzufügen von zeitabhängigem Rauschen zu den maskierten Videodaten wird eine kamerafreie 3D-Generierung erreicht. Seine Vorteile liegen in der Datenskalierbarkeit, der Kamerasteuerbarkeit und der geometrischen Konsistenz. Es kann Szenen unter beliebigen komplexen Kamerabahnen erzeugen und die geometrische Konsistenz der vorherigen und nächsten Bildansichten beibehalten. See3D liefert neue Ideen für die Entwicklung der 3D-Generierungstechnologie, die voraussichtlich die Aufmerksamkeit der 3D-Forschungsgemeinschaft auf großformatige, kamerafreie Annotationsdaten lenken und die Lücke zu bestehenden Closed-Source-3D-Lösungen schließen wird. Projektadresse: https://vision.baai.ac.cn/see3d
Durch cleveres Design löst das See3D-Modell das Problem der hohen Kosten der herkömmlichen 3D-Datenerfassung und bietet eine bequemere und effizientere Lösung für die Erstellung von 3D-Inhalten. Sein Open-Source-Charakter ermutigt auch mehr Forscher, sich zu beteiligen und gemeinsam die Weiterentwicklung der 3D-Generierungstechnologie voranzutreiben. Ich glaube, dass die Entstehung von See3D tiefgreifende Auswirkungen auf den Bereich der 3D-Vision haben wird.