Alibaba ha abierto su nuevo marco de generación de videos con IA, DreaMoving, que se basa en el modelo de difusión y puede lograr un control preciso del movimiento de los personajes para generar videos altamente personalizados. Los usuarios solo necesitan proporcionar imágenes de personajes y descripciones de texto simples para generar los videos correspondientes, y pueden ajustar de manera flexible detalles como los movimientos de los personajes, los fondos y la ropa. DreaMoving logra un control preciso del movimiento y la apariencia a través de los componentes Video ControlNet y Content Guider, lo que demuestra sus sólidas capacidades de generalización y avances revolucionarios en el campo de la generación de videos con IA. Esto proporciona nuevas posibilidades para la producción creativa de vídeos, efectos especiales de cine y televisión y otros campos.
Alibaba anunció el marco de código abierto DreaMoving para lograr un control ideal del movimiento de los personajes basado en el modelo de difusión. El marco permite a los usuarios generar videos altamente personalizados de humanos, incluida una niña sonriente en la playa, una niña asiática bailando en Central Park y más. Al introducir los componentes Video ControlNet y Content Guider, se logra un control preciso del movimiento y la apariencia. Los usuarios solo necesitan proporcionar retratos e indicaciones simples para generar los videos correspondientes y admitir cambios en las indicaciones, fondos de personajes y ropa. DreaMoving ha demostrado sólidas capacidades de generalización en el campo de la generación de videos con IA y puede generar videos de alta calidad basados en secuencias guiadas y descripciones simples.
El código abierto del marco DreaMoving marca una nueva etapa para la tecnología de generación de videos con IA. Sus potentes funciones y su facilidad de uso brindarán comodidad a más desarrolladores y usuarios, y promoverán la aplicación y el desarrollo de la tecnología de generación de videos con IA en varios campos. esperando sus posteriores actualizaciones y mejoras.