香港の華人JiajiayaチームによるオープンソースのControlNeXt画像・動画生成ガイダンスツールは、AI業界における「減量の成果物」といえる。サイズが小さく、Stable Diffusion シリーズのモデルと完全に互換性があり、プラグアンドプレイなので操作プロセスが大幅に簡素化されます。 ControlNeXt は、エッジ ガイダンス、姿勢制御、マスキング、被写界深度制御などのさまざまな制御モードをサポートしており、その強力な制御機能により、アイアンマンのダンスの動きも正確に制御できます。さらに驚くべきことは、その学習速度と生成速度が ControlNet よりもはるかに速く、効率が大幅に向上していることです。
ControlNeXt は、エッジ ガイダンス、姿勢制御、マスキング、被写界深度制御などのさまざまな制御モードをサポートします。アイアンマンの指まで正確な動きで美しいダンスを踊らせることもでき、その強力なコントロール能力を発揮します。
ControlNeXt の減量の秘密は、ControlNet の大食いコントロール ブランチを巧みに削除し、少数の ResNet ブロックで構成される軽食パッケージに置き換えていることです。この小型で精巧なモジュールは、元のサイズのわずか 10 分の 1 でありながら、さまざまな制御条件の特徴を完全に抽出することができます。
それだけでなく、ControlNeXt は学習の天才でもあります。新しいスキルを習得するにはわずか 400 ステップしかかかりませんが、ControlNet では何千ものステップが必要です。生成速度の点では、ControlNet が 41.9% の遅延を必要とするのに対し、ControlNeXt はさらに優れており、わずか 10.4% の遅延しかもたらしません。
ControlNeXt のもう 1 つのユニークなスキルは相互正規化です。このテクノロジーは、特徴量のパーティーを開催するようなもので、そのデータ分布が可能な限り揃うようにすることで、パラメーターの初期化の感度を回避し、トレーニングの開始時に制御条件を有効にすることができます。
ControlNeXt は AI の世界におけるトランスフォーマーのようなもので、小さくて柔軟でありながら強力です。二次元の女の子をコントロールラインに完璧にフィットさせるだけでなく、異なるスタイルの異次元のキャラクターを作成することもできます。このアーティファクトにより、近いうちにさらに素晴らしいAI作品が見られるようになると思います。
プロジェクトのホームページ: https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt は、効率的、軽量、強力な制御機能により、AI 画像/ビデオ生成の分野に新たな可能性をもたらします。また、そのオープンソース機能により、開発者はより詳細な調査やアプリケーションを実行できるようになり、将来的には ControlNeXt に基づいた革新的なアプリケーションがさらに登場すると考えられます。 AIアート制作の分野で輝くControlNeXtに期待しています！