L'équipe DeepMind de Google a publié un modèle d'IA appelé "Generative Omnimatte", qui peut diviser les vidéos en plusieurs couches comme un éditeur expérimenté, séparer avec précision les personnes, les objets et les arrière-plans, et même "cerveau" "Remplir" les parties bloquées pour obtenir divers cool effets spéciaux. Cette technologie dépasse les limites de la technologie de tapis vidéo traditionnelle et peut facilement réaliser des tâches de montage vidéo complexes sans avoir besoin d'un écran vert ou d'informations de profondeur. Dites adieu aux opérations fastidieuses, rendez le montage vidéo simple et facile à utiliser, et tout le monde peut devenir un maître du montage vidéo !
Vous souvenez-vous encore de ces effets spéciaux sympas dans les films ? Les objets disparaissent-ils de nulle part et les scènes changent-elles instantanément ? Maintenant, l'équipe de Google DeepMind a développé un modèle d'IA appelé « Generative Omnimatte » pour rendre ces effets spéciaux possibles ? Ce n'est plus réservé aux films ! Cette IA est comme un éditeur expérimenté, qui peut décomposer la vidéo en plusieurs calques, chaque calque contenant un objet complet et les ombres, reflets et autres effets qu'il produit.
La technologie traditionnelle de tapis vidéo repose généralement sur la prise de vue sur écran vert ou sur des informations précises sur la profondeur, ce qui est très complexe à utiliser. Ce modèle d'IA est totalement exempt de ces limitations. Il ne nécessite aucune information supplémentaire et peut parfaitement séparer les personnages, les objets et les arrière-plans de la vidéo, et peut même « remplir le cerveau » des parties masquées. L'effet est incroyable !
Le cœur de ce modèle d’IA est un modèle de suppression vidéo appelé « Casper ». C'est comme une gomme magique qui peut effacer avec précision n'importe quel objet que vous spécifiez dans la vidéo, et ses ombres et reflets disparaîtront, tandis que l'arrière-plan restera intact.
Plus important encore, il peut également recombiner des objets et des arrière-plans selon les besoins de l'utilisateur pour obtenir divers effets créatifs, tels que « téléporter » des personnages d'une scène à une autre, ou modifier la vitesse de déplacement des objets, ou même les faire remonter le temps !
Avec cet artefact, il sera si facile d'éditer des vidéos à l'avenir. Vous pourrez ajouter tous les effets spéciaux que vous souhaitez. Vous n'aurez pas du tout à vous soucier des problèmes techniques. Tout le monde peut devenir un maître du montage, par exemple ! pour "téléporter" un ami de chez vous à la plage, il vous suffit d'utiliser Casper pour découper vos amis et les mettre sur fond de bord de mer. N'est-ce pas très simple ? Vous pouvez même laisser vos amis marcher à reculons dans la vidéo. , ou copiez-les chez plusieurs amis et dansez ensemble, comme vous le souhaitez. C'est intéressant d'y penser !
Bien entendu, Generative Omnimatte est encore en phase de développement et il reste encore quelques bugs mineurs à résoudre. Par exemple, s’il y a plusieurs objets très similaires dans la vidéo, l’IA risque de ne pas être en mesure de dire qui est qui et de les confondre. De plus, si l’objet se déforme, comme un poteau plié, l’IA ne saura pas comment y faire face. Cependant, je pense que l'équipe Google DeepMind résoudra bientôt ces problèmes et rendra Generative Omnimatte encore plus parfaite !
Adresse du projet : https://gen-omnimatte.github.io/
Adresse papier : https://arxiv.org/pdf/2411.16683
Generative Omnimatte a apporté des changements révolutionnaires au montage vidéo, et cela nous apportera des applications et des effets spéciaux plus surprenants à l'avenir, attendons de voir !