Meta Corporation hat kürzlich eine neue 3D-Modelltechnologie zur Textgenerierung namens Meta3D Gen (3DGen) veröffentlicht, mit der schnell und effizient hochwertige 3D-Modelle mit realistischen Texturen und Materialien erstellt werden können. Diese bahnbrechende Technologie kombiniert die beiden Kernkomponenten Meta3D AssetGen und Meta3D TextureGen, um die Effizienz und Qualität der 3D-Modellgenerierung erheblich zu verbessern und den Benutzern ein beispielloses Erlebnis zu bieten. 3DGen übertrifft bestehende Lösungen in Geschwindigkeit und Qualität und eröffnet neue Möglichkeiten für Bereiche wie Spieleentwicklung, virtuelle Realität und das Metaverse.
Kürzlich haben Forscher eine neue, schnelle textgenerierte 3D-Modelltechnologie namens Meta3D Gen (3D Gen) veröffentlicht, die auf effiziente Weise 3D-Modelle mit hochwertigen Texturen und Materialien erstellt und Benutzern ein völlig neues Erlebnis bietet.
Dieses neue System kombiniert zwei Schlüsselkomponenten: Meta 3D AssetGen zum Erstellen von 3D-Netzen und Meta 3D TextureGen zum Generieren von Texturen. Diese Technologien arbeiten zusammen, um 3D-Assets mit hochauflösenden Texturen und PBR-Materialien (Physical-Based Rendering) zu erstellen. Laut Meta ist der Prozess drei- bis zehnmal schneller als bestehende Lösungen.
Meta3D AssetGen
Unter ihnen ist Meta3D AssetGen (AssetGen) ein großer Durchbruch im Bereich der 3D-Textgenerierung, mit dem in weniger als 1 Minute eine hochwertige 3D-Asset-Generierung erreicht werden kann. AssetGen generiert PBR-Materialien (Physical Based Rendering), um leistungsstarke Text-zu-3D- und Text-zu-Textur-Generierungsfunktionen mit echten Lichteffekten zu erreichen.
AssetGen generiert zunächst mehrere Ansichten des Objekts, einschließlich Darstellungsinformationen für Schatten- und Reflexionskanäle, und rekonstruiert dann Farbe, Metallizität und Rauheit im 3D-Raum, wobei ein verzögerter Schattierungsverlust für eine effiziente Überwachung verwendet wird. Es verwendet außerdem vorzeichenbehaftete Abstandsfunktionen, um 3D-Formen zuverlässiger darzustellen, und führt entsprechende Verluste für die direkte Formüberwachung ein. Um die Speichereffizienz zu verbessern, verwendet diese Methode Fusionsfaltungskerne. Nach dem Extrahieren des Netzes verbessert ein Transformator, der die Textur im UV-Raum verfeinert, die Klarheit und Detailgenauigkeit der Textur erheblich.
AssetGen erreicht eine Verbesserung des Fasenabstands um 17 % und eine Verbesserung des LPIPS um 40 % im Vergleich zu den besten Konkurrenzmethoden. Gleichzeitig erreichte es in menschlichen Präferenztests im Vergleich zu den besten Wettbewerbern der Branche bei gleicher Geschwindigkeit eine Bevorzugung von 72 %.
Meta3D TextureGen
Die Forscher stellten außerdem Meta3D TextureGen vor, einen neuen Vorwärtsansatz, der aus zwei sequentiellen Netzwerken besteht und darauf ausgelegt ist, in weniger als 20 Sekunden hochwertige und global konsistente Texturen für Geometrien beliebiger Komplexität zu generieren.
Diese Methode erzielt modernste Ergebnisse in Qualität und Geschwindigkeit, indem textgenerierte Bildmodelle mit 3D-semantischen Bedingungen im 2D-Raum kombiniert und zu einer vollständigen und hochauflösenden UV-Texturkarte fusioniert werden.
Die Forscher stellten außerdem ein Netzwerk zur Texturverbesserung vor, das jede Textur in jedem Maßstab hochskalieren kann, um Texturen mit einer Auflösung von 4K-Pixeln zu erzeugen.
Offizieller Blog: https://ai.meta.com/research/publications/meta-3d-gen/
Höhepunkte:
-Das Meta 3D Gen-System erstellt hochwertige 3D-Assets in weniger als einer Minute
- Meta3D Gen integriert die beiden Kerntechnologien Meta3D AssetGen und Meta3DTextureGen.
- AssetGen unterstützt die Generierung physikalisch basierter Rendering-Materialien mit realistischen Nachbeleuchtungseffekten.
- Meta3D TextureGen ist eine Methode zur schnellen Generierung hochwertiger Texturen für Geometrien beliebiger Komplexität.
Das Aufkommen von Meta3D Gen markiert einen bedeutenden Fortschritt in der Technologie zur Textgenerierung von 3D-Modellen. Seine Effizienz, hohe Qualität und Benutzerfreundlichkeit werden die Entwicklung des Bereichs der 3D-Inhaltserstellung erheblich vorantreiben und unbegrenzte Möglichkeiten für alle Lebensbereiche eröffnen. Zukünftig können wir uns auf den Einsatz und die weitere Optimierung von Meta3D Gen in weiteren Bereichen freuen.