Das Beijing Zhiyuan Artificial Intelligence Institute (BAAI) hat mit See3D ein bahnbrechendes 3D-Generierungsmodell veröffentlicht, das umfangreiche unbeschriftete Internetvideos verwendet, um die Generierung von 3D-Modellen aus Videos zu erlernen und zu realisieren 3D". Das See3D-Modell muss sich nicht auf herkömmliche Kameraparameter und 3D-Anmerkungen verlassen. Durch die visuelle Zustandstechnologie kann es Bilder mit mehreren Ansichten mit steuerbaren Kamerarichtungen und konsistenter Geometrie erzeugen, indem nur visuelle Hinweise im Video verwendet werden, was die Kosten und den Schwierigkeitsgrad erheblich reduziert Gewinnung von 3D-Daten, was der 3D-Generierungstechnologie neue Möglichkeiten eröffnet.
Das See3D-Modell unterstützt die Generierung von 3D-Modellen aus Text, Einzelansicht und Sparse-Ansicht und verfügt über 3D-Bearbeitungs- und Gaußsche Rendering-Funktionen. Das Modell, der Code und die Demo wurden als Open Source bereitgestellt, um den Forschern eine eingehende Untersuchung und Anwendung zu erleichtern. See3D verfügt über ein breites Spektrum an Anwendungsszenarien, einschließlich der Erschließung interaktiver 3D-Welten, der 3D-Rekonstruktion auf der Grundlage spärlicher Bilder, der 3D-Generierung in offenen Welten und der 3D-Generierung auf Einzelansichtsbasis. Seine Hauptvorteile liegen in der Skalierbarkeit der Daten, der Steuerbarkeit der Kamera und der geometrischen Konsistenz. Durch die Erstellung eines WebVi3D-Datensatzes mit 16 Millionen Videoclips und 320 Millionen Bildern wurden erhebliche Verbesserungen in der 3D-Generierungstechnologie erzielt.
Das Forschungsteam erstellte einen umfangreichen WebVi3D-Datensatz, indem es Videodaten automatisch filterte und durch das Hinzufügen von zeitabhängigem Rauschen zu den maskierten Videodaten reine visuelle 2D-Signale generierte, um ein skalierbares Multi-View-Diffusionsmodelltraining zu unterstützen und letztendlich kameraloses 3D zu erreichen Generierung von Bedingungen. Das Aufkommen von See3D hat neue Ideen auf dem Gebiet der 3D-Generierung hervorgebracht, von denen erwartet wird, dass sie die Anwendung umfangreicher, kamerafreier Annotationsdaten in der 3D-Forschung fördern, die Kosten für die 3D-Datenerfassung senken und die Lücke zu vorhandenen geschlossenen Daten schließen -Source-3D-Lösungen.
Die Vorteile von See3D liegen in der Skalierbarkeit der Daten, der Steuerbarkeit der Kamera und der geometrischen Konsistenz. Es kann Szenen unter beliebigen komplexen Kamerabahnen generieren und die geometrische Konsistenz der Vorder- und Hinterrahmenansichten beibehalten. Dadurch ist See3D in einer Vielzahl von 3D-Erstellungsanwendungen breit einsetzbar.
Durch die Erweiterung des Datensatzes liefert See3D neue Ideen für die Entwicklung der 3D-Generierungstechnologie. Es besteht die Hoffnung, dass diese Arbeit die Aufmerksamkeit der 3D-Forschungsgemeinschaft auf umfangreiche kamerafreie Annotationsdaten lenken und die Kosten der 3D-Datenerfassung senken kann und die bestehende Lücke zwischen Closed-Source-3D-Lösungen verkleinern.
Projektadresse: https://vision.baai.ac.cn/see3d
Alles in allem hat die Open-Source-Veröffentlichung des See3D-Modells neue technologische Durchbrüche und Entwicklungsrichtungen im Bereich der 3D-Generierung gebracht. Seine effizienten und praktischen Funktionen werden Innovationen in mehr Anwendungsszenarien bringen Zukunft und Anwendungen.