La herramienta de guía de generación de imágenes y videos ControlNeXt de código abierto del equipo chino Jiajiaya de Hong Kong puede considerarse un "artefacto de pérdida de peso" en la industria de la inteligencia artificial. Es de tamaño pequeño, perfectamente compatible con los modelos de la serie Stable Diffusion y es plug-and-play, lo que simplifica enormemente el proceso de operación. ControlNeXt admite una variedad de modos de control, como guía de bordes, control de postura, enmascaramiento y control de profundidad de campo. Sus poderosas capacidades de control pueden incluso controlar con precisión los movimientos de baile de Iron Man. Lo que es aún más sorprendente es que su velocidad de entrenamiento y velocidad de generación son mucho más rápidas que ControlNet y su eficiencia ha mejorado enormemente.
ControlNeXt admite una variedad de modos de control, incluida la guía de bordes, control de postura, enmascaramiento y control de profundidad de campo. Incluso puede dejar que Iron Man baile un hermoso baile con movimientos precisos hasta los dedos, demostrando sus poderosas capacidades de control.
El secreto de la pérdida de peso de ControlNeXt es que elimina inteligentemente la rama de control de los grandes comedores en ControlNet y la reemplaza con un paquete de comida ligera compuesto por una pequeña cantidad de bloques ResNet. Aunque este pequeño y exquisito módulo tiene sólo una décima parte de su tamaño original, puede extraer perfectamente características de diversas condiciones de control.
No sólo eso, ControlNeXt también es un genio del aprendizaje. Sólo se necesitan 400 pasos para aprender una nueva habilidad, mientras que ControlNet requiere miles de pasos. En términos de velocidad de generación, ControlNeXt es aún mejor, con solo un 10,4 % de retraso, mientras que ControlNet requiere un 41,9 % completo.
Otra habilidad única de ControlNeXt es la normalización cruzada. Esta tecnología es como celebrar una fiesta para las funciones, de modo que sus distribuciones de datos estén lo más alineadas posible, evitando así la sensibilidad de la inicialización de parámetros y permitiendo que las condiciones de control entren en vigor al comienzo del entrenamiento.
ControlNeXt es como un transformador en el mundo de la IA: pequeño y flexible pero potente. No sólo permite que la chica bidimensional se ajuste perfectamente a las líneas de control, sino que también crea personajes multidimensionales con diferentes estilos. ¡Con este artefacto, creo que pronto podremos ver más obras de arte de IA sorprendentes!
Página de inicio del proyecto: https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt ofrece nuevas posibilidades al campo de la generación de imágenes/vídeos con IA con sus capacidades de control eficientes, ligeras y potentes. Sus características de código abierto también facilitan a los desarrolladores realizar investigaciones y aplicaciones más profundas. Creo que habrá más aplicaciones innovadoras basadas en ControlNeXt en el futuro. ¡Esperamos que ControlNeXt brille en el campo de la creación de arte con IA!