港中文賈佳亞團隊開源的ControlNeXt影像/視訊生成引導工具，堪稱AI界的「減肥神器」。它體積小巧，與Stable Diffusion系列模型完美相容，即插即用，大大簡化了操作流程。 ControlNeXt支援多種控制模式，例如邊緣引導、姿勢控制、遮罩和景深控制等，其強大的控制能力甚至能精準控制鋼鐵人的舞蹈動作。更令人驚嘆的是，它的訓練速度和生成速度都遠超ControlNet，效率大幅提升。
ControlNeXt支援多種控制模式，包括邊緣引導、姿勢控制、遮罩和景深控制等。它甚至可以讓鋼鐵人跳起美女舞蹈，動作精準到手指，展現了其強大的控制能力。
ControlNeXt的減肥秘訣在於它巧妙地移除了ControlNet的大胃王控制分支，換成了由少量ResNet塊組成的輕食套餐。這個小巧玲瓏的模組雖然只有原來十分之一的體積，卻能完美地提取各種控制條件的特徵。
不僅如此，ControlNeXt還是個學習天才。它只需要400步就能學會新技能，但ControlNet需要磨蹭幾千步。在生成速度上，ControlNeXt更是一騎絕塵，只帶來10.4%的延時，而ControlNet則需要整整41.9%。
ControlNeXt的另一個獨門絕技是交叉歸一化。這項技術就像是給特徵們開了個聯誼派對，讓它們的資料分佈盡量對齊，從而避免了參數初始化的敏感性，也能讓控制條件在訓練初期就發揮作用。
ControlNeXt就像是AI界的變形金剛，小巧靈活yet功能強大。它不僅能讓二次元少女完美貼合控制線條，還能創造出風格迥異的跨次元角色。有了這個神器，相信很快我們就能看到更多令人驚嘆的AI藝術作品了!
專案首頁：https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt以其高效、輕量級和強大的控制能力，為AI圖像/視訊生成領域帶來了新的可能性。其開源特性也方便開發者進行更深入的研究與應用，相信未來會有更多基於ControlNeXt的創新應用出現。 期待ControlNeXt在AI藝術創作領域大放異彩！