El equipo DeepMind de Google lanzó un modelo de inteligencia artificial llamado "Generative Omnimatte", que puede dividir videos en múltiples capas como un editor experto, separar con precisión personas, objetos y fondos, e incluso "rellenar" con el cerebro las partes bloqueadas para lograr varias cosas interesantes. efectos especiales. Esta tecnología rompe las limitaciones de la tecnología de video mate tradicional y puede completar fácilmente tareas complejas de edición de video sin la necesidad de una pantalla verde o información de profundidad. ¡Diga adiós a las operaciones tediosas, haga que la edición de video sea simple y fácil de usar y todos podrán convertirse en maestros de la edición de video!
¿Todavía recuerdas esos geniales efectos especiales en las películas? ¿Los objetos desaparecen de la nada y las escenas cambian instantáneamente? ¿Estás enganchado? Ahora, el equipo de Google DeepMind ha desarrollado un modelo de inteligencia artificial llamado "Generative Omnimatte" para hacer posibles estos efectos especiales. ¡Ya no es solo para películas! Esta IA es como un editor experto, que puede dividir el video en múltiples capas, cada capa contiene un objeto completo y las sombras, reflejos y otros efectos que produce.
La tecnología tradicional de videomating generalmente se basa en la captura de pantalla verde o en información precisa de profundidad, lo cual es muy complejo de operar. Este modelo de IA está completamente libre de estas limitaciones. No requiere ninguna información adicional y puede separar perfectamente los personajes, los objetos y los fondos del video, e incluso puede "rellenar el cerebro" con las partes ocluidas.
El núcleo de este modelo de IA es un modelo de eliminación de vídeos llamado "Casper". Es como un borrador mágico que puede borrar con precisión cualquier objeto que especifiques en el vídeo, y sus sombras y reflejos desaparecerán, mientras que el fondo permanecerá intacto.
Más importante aún, también puede recombinar objetos y fondos según las necesidades del usuario para lograr diversos efectos creativos, como "teletransportar" personajes de una escena a otra, o cambiar la velocidad de movimiento de los objetos, ¡o incluso hacerlos retroceder en el tiempo!
Con este artefacto, será muy fácil editar videos en el futuro. Podrás agregar los efectos especiales que desees. ¡No tendrás que preocuparte en absoluto por los problemas técnicos! Para "teletransportar" a un amigo desde casa a la playa, solo necesitas usar Casper para recortar a tus amigos y colocarlos en el fondo del mar. ¿No es muy sencillo? Incluso puedes dejar que tus amigos caminen hacia atrás en el vídeo. , o cópialos con varios amigos y bailen juntos, como quieras. ¡Es interesante pensarlo!
Por supuesto, Generative Omnimatte todavía se encuentra en la etapa de desarrollo y todavía hay algunos errores menores que deben resolverse. Por ejemplo, si hay varios objetos muy similares en el vídeo, es posible que la IA no pueda distinguir quién es quién y confundirlos. Además, si el objeto se deforma, como un poste doblado, la IA no sabrá cómo lidiar con él. Sin embargo, creo que el equipo de Google DeepMind pronto resolverá estos problemas y hará que Generative Omnimatte sea aún más perfecto.
Dirección del proyecto: https://gen-omnimatte.github.io/
Dirección del artículo: https://arxiv.org/pdf/2411.16683
Generative Omnimatte ha traído cambios revolucionarios a la edición de video y nos traerá más aplicaciones y efectos especiales sorprendentes en el futuro, ¡esperemos y veremos!