Das Open-Source-Tool ControlNeXt zur Bild-/Videogenerierung des Hong Kong Chinese Jiajiaya-Teams kann in der KI-Branche als „Artefakt zur Gewichtsreduktion“ bezeichnet werden. Es ist klein, perfekt kompatibel mit den Modellen der Stable Diffusion-Serie und Plug-and-Play-fähig, was den Bedienungsprozess erheblich vereinfacht. ControlNeXt unterstützt eine Vielzahl von Steuerungsmodi, wie z. B. Kantenführung, Haltungssteuerung, Maskierung und Tiefenschärfesteuerung. Seine leistungsstarken Steuerungsfunktionen können sogar die Tanzbewegungen von Iron Man präzise steuern. Noch erstaunlicher ist, dass die Trainings- und Generierungsgeschwindigkeit weitaus schneller ist als bei ControlNet und die Effizienz erheblich verbessert ist.
ControlNeXt unterstützt eine Vielzahl von Steuerungsmodi, einschließlich Kantenführung, Haltungssteuerung, Maskierung und Tiefenschärfesteuerung. Es kann Iron Man sogar einen wunderschönen Tanz mit präzisen Bewegungen bis zu den Fingern tanzen lassen und so seine kraftvollen Kontrollfähigkeiten unter Beweis stellen.
Das Geheimnis des Gewichtsverlusts von ControlNeXt besteht darin, dass es den Big-Eater-Kontrollzweig in ControlNet geschickt entfernt und ihn durch ein leichtes Mahlzeitenpaket ersetzt, das aus einer kleinen Anzahl von ResNet-Blöcken besteht. Obwohl dieses kleine und exquisite Modul nur ein Zehntel seiner ursprünglichen Größe hat, kann es Merkmale verschiedener Steuerbedingungen perfekt extrahieren.
Darüber hinaus ist ControlNeXt auch ein Lerngenie. Es sind nur 400 Schritte erforderlich, um eine neue Fähigkeit zu erlernen, während ControlNet Tausende von Schritten erfordert. In Bezug auf die Generierungsgeschwindigkeit ist ControlNeXt sogar noch besser und bringt nur 10,4 % Verzögerung, während ControlNet ganze 41,9 % benötigt.
Eine weitere einzigartige Fähigkeit von ControlNeXt ist die Kreuznormalisierung. Diese Technologie ist so, als würde man eine Party für die Features veranstalten, damit ihre Datenverteilungen so gut wie möglich aufeinander abgestimmt sind, wodurch die Sensibilität der Parameterinitialisierung vermieden wird und die Steuerbedingungen zu Beginn des Trainings wirksam werden.
ControlNeXt ist wie ein Transformer in der KI-Welt, klein und flexibel, aber dennoch leistungsstark. Es ermöglicht dem zweidimensionalen Mädchen nicht nur, die Kontrolllinien perfekt anzupassen, sondern schafft auch dimensionale Charaktere mit unterschiedlichen Stilen. Ich glaube, dass wir mit diesem Artefakt bald weitere erstaunliche KI-Kunstwerke sehen können!
Projekthomepage: https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt eröffnet mit seinen effizienten, leichten und leistungsstarken Steuerungsmöglichkeiten neue Möglichkeiten im Bereich der KI-Bild-/Videogenerierung. Seine Open-Source-Funktionen erleichtern Entwicklern auch eine tiefergehende Forschung und Anwendungen. Ich glaube, dass es in Zukunft weitere innovative Anwendungen geben wird, die auf ControlNeXt basieren. Wir freuen uns darauf, dass ControlNeXt im Bereich der KI-Kunstkreation glänzt!