In den letzten Jahren hat sich die KI-Technologie rasant weiterentwickelt, insbesondere im Bereich der Animationsproduktion. Die Generierung dynamischer Videos auf Basis statischer Bilder hat sich zu einem Forschungsschwerpunkt entwickelt. Herkömmliche Methoden zur Animationsproduktion basieren oft auf spärlichen Informationen zur Skeletthaltung, was zu Animationseffekten führt, die nicht präzise genug sind. Um dieses Problem zu lösen, werden ständig neue Technologien entwickelt, die eine präzisere und kontrollierbarere Charakterbildanimation ermöglichen.
In den letzten Jahren ist die Interaktion zwischen Mensch und Computer mit der rasanten Entwicklung der künstlichen Intelligenz und der Computer-Vision-Technologie immer lebendiger und ausdrucksvoller geworden. Insbesondere im Bereich der Animationsproduktion war die Generierung dynamischer Videos auf Basis statischer Bilder schon immer ein heißes Forschungsthema.
Kürzlich ist eine neue Technologie namens „DisPose“ aufgetaucht, die durch entkoppelte Haltungsführung besser kontrollierbare Animationseffekte für Charakterbilder erzielt. Einfach ausgedrückt ermöglicht DisPose die Eingabe von Actionvideos und Referenzfiguren, sodass die Referenzfiguren die Aktionen im Video realisieren können.
Der Kern der DisPose-Technologie liegt in der Rekonstruktion und Nutzung traditioneller spärlicher Poseinformationen. Herkömmliche Methoden basieren meist auf einer spärlichen Skelett-Pose-Anleitung, die bei der dynamischen Generierung von Videos oft keine ausreichenden Steuersignale liefern kann, was zu unzureichend detaillierten Animationseffekten führt. Um dieses Manko auszugleichen, schlägt DisPose eine brandneue Methode vor, um eine detailliertere Bewegungsgenerierung zu erreichen, indem spärliche Poseninformationen in Sportplatzführung und Schlüsselpunktkorrespondenzen umgewandelt werden.
Insbesondere berechnet DisPose zunächst spärliche Bewegungsfelder für Skelettposen und führt eine Methode zur Erzeugung dichter Bewegungsfelder basierend auf Referenzbildern ein. Dieser Ansatz liefert nicht nur Bewegungssignale auf regionaler Ebene, sondern wahrt auch die Universalität einer spärlichen Lagekontrolle. Gleichzeitig extrahiert DisPose auch Diffusionsmerkmale, die Posenschlüsselpunkten entsprechen, aus dem Referenzbild und überträgt diese Merkmale dann durch Berechnen von Punktkorrespondenzen mit mehreren Maßstäben auf die Zielpose, um die Konsistenz des Erscheinungsbilds zu verbessern.
Um eine reibungslose Integration dieser innovativen Technologie in bestehende Modelle zu ermöglichen, schlugen die Forscher außerdem eine Plug-in-Hybrid-ControlNet-Architektur vor. Diese Architektur verbessert die Qualität und Konsistenz der generierten Videos, ohne bestehende Modellparameter zu ändern. Durch umfangreiche qualitative und quantitative Experimente demonstriert DisPose erhebliche Vorteile gegenüber aktuellen Technologien und kündigt die zukünftige Richtung der Animationsproduktionstechnologie an.
DisPose verbessert die Ausdruckskraft und Steuerbarkeit von Porträtanimationen durch die Optimierung der Verwendung von Haltungsinformationen. Dieser Fortschritt ist nicht nur für die akademische Forschung von großer Bedeutung, sondern bringt auch neue Möglichkeiten für die zukünftige Animationsbranche mit sich.
Projekteingang: https://lihxxx.github.io/DisPose/
Höhepunkte:
DisPose ist eine neue Porträtanimationstechnologie, die durch entkoppelte Posenführung eine präzisere Dynamikerzeugung ermöglicht.
Diese Technologie wandelt spärliche Haltungsinformationen in Bewegungsfeldführung und Schlüsselpunktkorrespondenz um und liefert detaillierte Bewegungssignale.
Die von den Forschern vorgeschlagene hybride ControlNet-Architektur kann die Qualität und Konsistenz generierter Videos effektiv verbessern.
Das Aufkommen der DisPose-Technologie markiert einen neuen Meilenstein in der Animationsproduktionstechnologie. Seine effiziente Verarbeitungsmethode für Gesteninformationen und die innovative Hybrid-ControlNet-Architektur bieten leistungsstarke technische Unterstützung für eine realistischere und detailliertere Porträtanimationsproduktion in der Zukunft und eröffnen der Animationsbranche unbegrenzte Möglichkeiten. Wir freuen uns darauf, dass DisPose in Zukunft eine größere Rolle in der Animationsproduktion spielen wird.