Ein Forschungsteam der Carnegie Mellon University hat kürzlich eine bahnbrechende Technologie veröffentlicht – DressRecon, die aus monokularen Videos ein zeitkonsistentes und detailliertes 3D-Modell des menschlichen Körpers rekonstruieren kann. Anders als frühere Methoden zur Rekonstruktion des menschlichen Körpers, die enge Kleidung oder Multi-View-Daten erfordern, kann DressRecon Szenen verarbeiten, in denen lockere Kleidung getragen wird oder sogar Objekte gehalten werden, was den Anwendungsbereich erheblich erweitert und Innovationen in Bereiche wie die Erstellung virtueller Bilder und die Produktion von Animationen bringt. Der Herausgeber von Downcodes wird Ihnen ein tiefgreifendes Verständnis dieser beeindruckenden Technologie vermitteln.
Kürzlich hat ein Forschungsteam der Carnegie Mellon University eine neue Technologie namens „DressRecon“ veröffentlicht, die darauf abzielt, aus monokularen Videos ein zeitkonsistentes menschliches Modell zu rekonstruieren. Das Tolle an DressRecon ist, dass Sie nicht nur ein Video eingeben können, um ein 3D-Modell zu erstellen, sondern auch feine Details wie komplexe Kleidung und tragbare Gegenstände wiederherstellen können.
Diese Technologie eignet sich besonders für Szenarien, in denen Sie lockere Kleidung tragen oder mit in der Hand gehaltenen Gegenständen interagieren, und durchbricht damit die Einschränkungen bisheriger Technologien. In der Vergangenheit erforderte die Rekonstruktion des menschlichen Körpers normalerweise das Tragen eng anliegender Kleidung oder eine Multi-View-Kalibrierung zur Datenerfassung oder sogar personalisiertes Scannen, was in großem Maßstab nur schwer zu erfassen war.
Die Innovation von „DressRecon“ besteht darin, dass es allgemeines Vorwissen über die menschliche Körperform und videospezifische Körperdeformationen kombiniert und innerhalb eines Videos optimiert werden kann.
Der Kern dieser Technologie besteht darin, ein neuronales implizites Modell zu erlernen, das die Verformung von Körper und Kleidung separat verarbeiten und Bewegungsmodellschichten separat erstellen kann.
Um die subtilen geometrischen Merkmale von Kleidung zu erfassen, nutzte das Forschungsteam Vorkenntnisse auf der Grundlage von Bildern, darunter menschliche Körperhaltung, Oberflächennormalen und optischen Fluss. Diese Informationen unterstützen den Optimierungsprozess zusätzlich und machen den Rekonstruktionseffekt realistischer.
DressRecon ist in der Lage, hochauflösende 3D-Modelle aus einem einzigen Videoeingang zu extrahieren und kann sogar weiter in explizite 3D-Gaußsche Modelle optimiert werden, um die Rendering-Qualität zu verbessern und interaktive Visualisierung zu unterstützen.
Die Forscher demonstrierten die hochgenauen 3D-Rekonstruktionseffekte, die DressRecon bei einigen anspruchsvollen Datensätzen zur Kleidungsverformung und Objektinteraktion erzielen kann.
Darüber hinaus kann das rekonstruierte virtuelle menschliche Bild aus jedem Winkel gerendert werden, was eine äußerst visuelle Wirkung zeigt. Das Team verglich außerdem die Leistung von DressRecon mit mehreren Basistechnologien bei der Formrekonstruktion. Die Ergebnisse zeigten, dass DressRecon bei der Verarbeitung komplexer deformierter Strukturen eine höhere Genauigkeit aufwies.
Projekteingang: https://jefftan969.github.io/dressrecon/
Highlight:
?Das Forschungsteam führte die DressRecon-Technologie ein, um eine qualitativ hochwertige Rekonstruktion des menschlichen Körpers durch monokulare Videos zu erreichen, die sich besonders für Szenen mit lockerer Kleidung und in der Hand gehaltenen Gegenständen eignet.
? Mithilfe neuronaler impliziter Modelle verarbeitet diese Technologie Körper- und Kleidungsverformungen getrennt und erfasst mithilfe von Vorkenntnissen der Bildbasis subtile geometrische Merkmale.
?Die Rekonstruktionsergebnisse können nicht nur dreidimensionale Modelle mit hoher Wiedergabetreue generieren, sondern auch das Rendern aus jedem Winkel unterstützen und so das Visualisierungserlebnis verbessern.
Das Aufkommen der DressRecon-Technologie wird zweifellos die Entwicklung der 3D-Technologie zur Modellierung des menschlichen Körpers einen großen Schritt nach vorne bringen. Seine effizienten und praktischen Funktionen sowie seine hervorragenden Verarbeitungsfähigkeiten für komplexe Szenen eröffnen unbegrenzte Möglichkeiten für die Bereiche virtuelle Realität, Animationsproduktion, Spieleentwicklung und andere Bereiche der Zukunft. Wir freuen uns darauf, dass diese Technologie ihr großes Potenzial in weiteren Anwendungsszenarien entfaltet!