L'outil open source de guidage de génération d'images/vidéos ControlNeXt de l'équipe chinoise Jiajiaya de Hong Kong peut être qualifié d'« artefact de perte de poids » dans l'industrie de l'IA. Il est de petite taille, parfaitement compatible avec les modèles de la série Stable Diffusion et est plug-and-play, simplifiant considérablement le processus de fonctionnement. ControlNeXt prend en charge une variété de modes de contrôle, tels que le guidage des bords, le contrôle de la posture, le masquage et le contrôle de la profondeur de champ. Ses puissantes capacités de contrôle peuvent même contrôler avec précision les mouvements de danse d'Iron Man. Ce qui est encore plus étonnant, c'est que sa vitesse de formation et sa vitesse de génération sont bien plus rapides que celles de ControlNet, et son efficacité est grandement améliorée.
ControlNeXt prend en charge une variété de modes de contrôle, notamment le guidage des bords, le contrôle de la posture, le masquage et le contrôle de la profondeur de champ. Il peut même laisser Iron Man danser une belle danse avec des mouvements précis jusqu'aux doigts, démontrant ainsi ses puissantes capacités de contrôle.
Le secret de la perte de poids de ControlNeXt est qu'il supprime intelligemment la branche de contrôle des gros mangeurs dans ControlNet et la remplace par un paquet de repas légers composé d'un petit nombre de blocs ResNet. Bien que ce module petit et exquis ne représente qu'un dixième de sa taille d'origine, il peut parfaitement extraire les caractéristiques de diverses conditions de contrôle.
Non seulement cela, ControlNeXt est aussi un génie de l’apprentissage. Il suffit de 400 étapes pour acquérir une nouvelle compétence, tandis que ControlNet en nécessite des milliers. En termes de vitesse de génération, ControlNeXt est encore meilleur, n'apportant que 10,4 % de retard, tandis que ControlNet nécessite un délai de 41,9 %.
Une autre compétence unique de ControlNeXt est la normalisation croisée. Cette technologie revient à organiser une fête pour les fonctionnalités, afin que leurs distributions de données soient aussi alignées que possible, évitant ainsi la sensibilité de l'initialisation des paramètres et permettant aux conditions de contrôle de prendre effet au début de la formation.
ControlNeXt est comme un transformateur dans le monde de l'IA, petit et flexible mais puissant. Cela permet non seulement à la fille en deux dimensions de s'adapter parfaitement aux lignes de contrôle, mais crée également des personnages multidimensionnels avec des styles différents. Avec cet artefact, je pense que nous pourrons bientôt voir d’autres œuvres d’art IA étonnantes !
Page d'accueil du projet : https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt apporte de nouvelles possibilités dans le domaine de la génération d'images/vidéos IA grâce à ses capacités de contrôle efficaces, légères et puissantes. Ses fonctionnalités open source permettent également aux développeurs de mener des recherches et des applications plus approfondies. Je pense qu'il y aura davantage d'applications innovantes basées sur ControlNeXt à l'avenir. Nous attendons avec impatience que ControlNeXt brille dans le domaine de la création artistique IA !