L'éditeur de Downcodes vous fera comprendre la dernière technologie ReCapture publiée par Google Research ! Cette technologie étonnante réinterprète vos vidéos sous une toute nouvelle perspective, vous offrant une expérience visuelle sans précédent. Il ne s'agit pas d'un simple montage vidéo, mais il utilise la technologie IA pour générer une nouvelle version avec des trajectoires de caméra personnalisées basées sur la vidéo que vous fournissez, ce qui vous donne l'impression d'avoir la possibilité de filmer à partir de plusieurs caméras, même pour les vidéos quotidiennes tournées avec votre téléphone mobile. Cela peut également avoir un effet cinématographique. Es-tu prêt? Explorons ensemble la magie de ReCapture !
Google Research a récemment lancé une nouvelle technologie appelée ReCapture, qui vous permet de revivre vos propres vidéos sous un nouvel angle. La technologie ReCapture peut générer une nouvelle version avec des pistes de caméra personnalisées basées sur la vidéo fournie par l'utilisateur, ce qui signifie que vous pouvez regarder le contenu vidéo depuis une perspective introuvable dans la vidéo originale, tout en conservant le mouvement original des personnages et des scènes. la vidéo.
ReCapture est comme un éditeur magique qui peut générer une nouvelle version avec une nouvelle perspective basée sur la vidéo que vous fournissez. Par exemple, si vous prenez une vidéo d'un chien jouant avec votre téléphone portable, ReCapture peut vous aider à générer une vidéo prise du point de vue du chien. N'est-ce pas incroyable ?
Alors, comment ReCapture réalise-t-il cette « magie » ? En fait, le principe n’est pas compliqué. Il utilise d'abord un modèle de diffusion multi-vues ou une technologie de rendu de nuages de points pour générer une vidéo approximative basée sur la nouvelle perspective souhaitée. Cette vidéo brute est comme un jade non poli, l'image peut être incomplète, l'heure peut être incohérente et elle peut se balancer comme un ivrogne.
Ensuite, ReCapture utilisera son arme secrète : la technologie de « réglage fin de la vidéo de masque » pour « peaufiner » cette vidéo brute. Cette technologie est comme un artisan qualifié qui utilise deux outils spéciaux : LoRA spatial et LoRA temporel pour réparer et optimiser la vidéo. Spatial LoRA est comme une « esthéticienne », chargée d'apprendre les personnages et les informations sur la scène dans la vidéo originale pour rendre l'image plus claire et plus belle. Time LoRA est un « maître du rythme » chargé d'apprendre les mouvements de la scène sous de nouvelles perspectives pour rendre la lecture vidéo plus fluide et plus naturelle.
Grâce aux efforts conjoints de ces deux « maîtres », la vidéo brute a été transformée en une nouvelle vidéo claire, cohérente et dynamique. De plus, afin de rendre l'effet vidéo plus parfait, ReCapture utilisera également la technologie SDEdit pour ajouter la touche finale à la vidéo, tout comme le maquillage, rendant la vidéo plus raffinée et délicate.
Les chercheurs de Google affirment que ReCapture peut gérer différents types de vidéos et de transitions de perspective sans nécessiter de grandes quantités de données d'entraînement. Cela signifie que même si vous n'êtes qu'un passionné de vidéo ordinaire, vous pouvez facilement créer des vidéos « multi-caméras » de qualité professionnelle avec ReCapture.
Adresse du projet : https://generative-video-camera-controls.github.io/
L'émergence de la technologie ReCapture a sans aucun doute apporté de nouvelles possibilités dans le domaine de la création vidéo. Il simplifie le processus de production vidéo multi-vues, permettant à davantage de personnes de découvrir facilement la joie de la création. Je pense qu'à l'avenir, ReCapture sera appliqué dans davantage de domaines et nous apportera plus de surprises !