ByteDance und Forscher der University of Shanghai Science and Technology haben gemeinsam eine innovative Technologie namens „HeadGAP“ entwickelt, mit der aus nur drei Fotos einer Zielperson aus verschiedenen Blickwinkeln schnell ein realistisches und animierbares virtuelles 3D-Modell des menschlichen Kopfes erstellt werden kann. Diese Technologie durchbricht die Abhängigkeit der herkömmlichen 3D-Modellierung von großen Datenmengen und komplexen Vorgängen, bietet beispiellosen Komfort bei der Erstellung virtueller Charaktere und verfügt über extrem hohe personalisierte Anpassungsmöglichkeiten. Durch die in der Phase des „vorherigen Lernens“ gesammelten 3D-Kopfinformationen kann HeadGAP effizient virtuelle Avatare generieren, die die Eigenschaften des Zielcharakters in hohem Maße wiederherstellen und die Synchronisierung von Gesichtsausdrücken basierend auf Referenzvideos unterstützen.
Kürzlich haben Forscher von ByteDance und der ShanghaiTech University eine Studie namens „HeadGAP“ entwickelt, die alle Aufmerksamkeit erregte. Das Forschungsteam schlug eine neue Methode vor, mit der nur drei Bilder aus unterschiedlichen Perspektiven der Zielperson schnell erstellt werden können Erstellen Sie ein realistisches, animierbares 3D-Bild des virtuellen menschlichen Kopfes und synchronisieren Sie Gesichtsausdrücke basierend auf Referenzvideos.
Das Forschungsteam demonstrierte, wie man mit einer kleinen Datenmenge in realen Szenarien personalisierte Avatare erstellen kann. In dieser Studie führten die Forscher zunächst eine Phase namens „Vorheriges Lernen“ durch. Zu diesem Zeitpunkt extrahierten sie Vorinformationen über den 3D-Kopf aus einem großen dynamischen Datensatz mit mehreren Ansichten. Diese Vorabinformationen können dem System helfen, verschiedene Kopfmerkmale und -ausdrücke zu verstehen. Anschließend nutzen die Forscher in der Phase der „Avatar-Erstellung“ diese Vorinformationen, um eine personalisierte Anpassung vorzunehmen und einen virtuellen Avatar der Zielperson zu generieren.
Der gesamte Prozess nutzt ein selbstdekodierendes Netzwerk basierend auf Gaußschen Punktwolken, kombiniert mit partieller dynamischer Modellierung. Auf diese Weise kann das System die Einzigartigkeit jedes Einzelnen schnell erfassen und auf dieser Basis eine personalisierte Optimierung des Avatars durchführen. Das Team nutzte auch einige technische Mittel wie Inversions- und Feinabstimmungsstrategien, um den Avatar-Personalisierungsprozess effizienter zu gestalten, und erzielte letztendlich erfolgreich Rendering-Effekte auf Fotoebene und Konsistenz bei mehreren Ansichten.
In Experimenten demonstrierte das Forschungsteam die Leistungsfähigkeit seiner Methode in verschiedenen Szenarien. Die Ergebnisse zeigten, dass die generierten 3D-Avatare sowohl in einer kontrollierten Umgebung als auch in einer realen Umgebung hohe Qualität und stabile Animationseffekte aufrechterhalten können. Diese Errungenschaft bietet nicht nur breite Anwendungsaussichten in virtuellen sozialen Netzwerken, Spieleentwicklung und anderen Bereichen, sondern liefert auch neue Ideen und Methoden für die personalisierte Produktion von 3D-Avataren.
Produkteingang: https://top.aibase.com/tool/headgap
Highlight:
Das Forschungsteam nutzte die „HeadGAP“-Methode, um mit nur wenigen Fotos ein realistisches virtuelles 3D-Kopfbild zu erstellen.
Diese Methode nutzt ein Gaußsches Punktnetzwerk und dynamische Modellierungstechnologie, um eine personalisierte Anpassung und Optimierung von Avataren zu erreichen.
Experimentelle Ergebnisse zeigen, dass der generierte Avatar eine hervorragende Renderqualität und Animationsleistung aufweist und für eine Vielzahl von Anwendungsszenarien geeignet ist.
Das Aufkommen der HeadGAP-Technologie markiert einen neuen Meilenstein in der Technologie zur Erzeugung virtueller 3D-Porträts. Ihre Effizienz, Bequemlichkeit und hohe Wiedergabetreue werden sicherlich revolutionäre Auswirkungen auf Bereiche wie die virtuelle Realität und das Metaversum haben. Wir können davon ausgehen, dass diese Technologie in Zukunft in weiteren Bereichen eingesetzt wird, um den Menschen realistischere und personalisiertere virtuelle Erlebnisse zu bieten.