更新された v0.2 : florence2 ノードに接続する間違ったノードを修正しました
2024 年 8 月 11 日更新: 少しいじった結果、Github/HF ページでデモンストレーションされているように、controlnet を使用して高品質の画像を再現する方法を見つけました。また、2 つのサンプリング方法を組み合わせて次のように再編成できることもわかりました。よりシンプルで効率的なアプローチとして、これらすべての変更を含めて v0.3 を間もなく更新する予定です。
ComfyUI で、img-to-img や text-to-img など、FluxDev モデルで画像を生成するためのさまざまなテクニックを組み合わせたオールインワンの FluxDev ワークフローを作成しました。このワークフローでは LoRA、ControlNet を使用でき、Ksampler によるネガティブ プロンプト、動的しきい値処理、修復などを有効にします。これはこれらのテクニックの「正しい」使用方法ではなく、入手可能な情報に基づいた私の個人的な解釈であることに注意してください。
USE Everywhere ノードを多用する
このワークフローは、毎日の生成ニーズに合わせてできるだけクリーンかつ効率的にするために、USE Everywhere ノードに大きく依存しています。改善のための洞察と提案を収集するために、このワークフローをコミュニティと共有しています。ご自身で自由に実験してみてください。
ComfyUI/models/clipに配置): flux_text_encodersae.sft ComfyUI/models/vaeに配置): ae.safetensorsComfyUI/models/controlnetの下に配置し、必要に応じてフォルダーを開きます)ComfyUI/models/lorasの下に配置し、必要に応じてフォルダーを開きます)低 VRAM セットアップ:
「--lowvram」引数を指定して ComfyUI を起動し (.bat ファイルに追加)、テキスト エンコーダーを CPU にオフロードします。
このワークフローの作成時点では、次の 2 つの ControlNet といくつかの LoRA が利用可能です。
私は XLabs-AI の Canny と Realism LoRA のみをテストしました。重要な点は次のとおりです。
git checkout xlabs_flux_controlnet動的しきい値処理を使用した Ksampler ワークフローは、ComfyUI の公式ブログ投稿に基づいています。そして私はこう引用します。
どちらのモデルでも、 BasicGuiderでSamplerCustomAdvancedを使用するか、 KSampler使用する場合はCFG 1に設定することができます。 Dev モデルで新しいFluxGuidance使用して、抽出された CFG のような値を制御できます。 (リアリズムやより良いスタイル制御のために、これを 2 に設定することをお勧めします) これらのモデルは、実際の CFG なしで動作するようにトレーニングされています。ただし、CFG を決して使用できないというわけではありません。実際、コミュニティは、新しいモデルを最大限に活用するためのさまざまなトリックをテストするための実験プラットフォームとして ComfyUI を急速に活用しています。 (Dynamic Thresholding カスタム ノードを使用するか、新しいFluxGuidanceビルトイン ノードを使用して補正し、CFG とネガティブ プロンプトを有効にするなどです。Flux シグマ シフトを制御するためのModelSamplingFluxビルトインもありますが、その利点はより限定的です。)
これは私自身の解釈であることに留意して、自由に変更して実験してください。
このサンプリング方法を使用した、チェリーピック以外の 0 ショットのデモ:
リポジトリはここで見つけることができます。
Pixel Resolution Calculator は、昨日 LLama3.1 の助けを借りて開発したカスタム ノードです (はい、私にはプログラミング スキルがなく、ゼロから学習する途中です)。これは、選択したメガピクセルとアスペクト比から最も近い「潜在的に優しい」ピクセル解像度を生成する非常に単純なノードです。 SDXL のような幅と高さのピクセル数ではなく、ピクセル解像度について誰もが話しているように見えるため、私はオリジナルの Flux デモ ワークフローの ImageScaleToTotalPixels ノードからインスピレーションを得ました。潜在サンプル入力を幅と高さのピクセル数に変換するノードもあります。
アップスケーリング ワークフローも含まれています。 Impact パックの Iterative Upscale (Image) ノードとタイル拡散を使用して、選択したアップスケール モデルでノード グループのアップスケーリングや詳細化などの高解像度の修正を作成します。 PK フックを使用して、ノイズ除去、CFG、およびステップ スケジューリングを実行することもできます。
デモ画像の比較はこちら。
Flux 用にトレーニングされた修復モデルがまだないため、ここでは最も単純な形式の修復のみを実現できます。 ControlNet を組み込むこともできますが、正方形ベースの解像度と誘導スケールに注意してください (4) 。
詳細キャプションにビジョン LLm を使用し、迅速な洞察を得るために、 ollama と Florence2 を実行する簡単なノードをいくつか紹介します。デモでは LLaVa 13B と Florence2 Large を使用しています。 Ollama 、 Ollama ComfyUI 、および Florence2 ComfyUI ノードが必要です。リンクを参照してください。詳細な使用法とインストールガイドについては、こちらをご覧ください。
使いにくいと思われる場合は、より詳細なガイドを追加します。
Flux は非常に柔軟なモデルであり、最初のバージョンであることを考えると、非常に印象的です。リリースから 2 週間以内に、すでに ControlNet と LoRA が利用可能になっており、このモデルがコミュニティにどれほど愛されているかがわかります。今はモデルの修復を楽しみにしています。そして最も重要なことは、マッテオ、Flux 用の iPadapter をリリースしてください.... お願いします、欠けているパズルが 1 つあり、これで完成です....
ハッピージェネレーション！
PS: このリポジトリのスペル チェックと文法チェックを行うのに役立つ、LLama3.1 で使用するプロンプトを理由もなく含めています。
強力なライティングスキルとライティング全般に対する深い理解を備えたプロのライターとして活動します。リクエストに応じて、ユーザーが書き直し、再フォーマットし、文法チェックやスペルチェックを実行できるように支援します。タスクには次のものが含まれている必要があります。
さらに、次のことを行ってください。
これらの要件を理解していますか?
