ComfyUI 3D パック

ComfyUI-3D-パック

画像/ビデオを生成する ComfyUI での 3D アセット生成を優れた便利なものにします。
これは、ComfyUI が最先端のアルゴリズム (3DGS、NeRF など) とモデル (InstantMesh、CRM、TripoSR など) を使用して 3D 入力 (メッシュおよび UV テクスチャなど) を処理できるようにする広範なノード スイートです。

機能 — インストール — ロードマップ — 開発 — ヒント — サポーター

インストール：

ComfyUI-Managerから直接インストールできますか?

• プリビルドは以下で利用できます。
  • Windows 10/11、Ubuntu 22.04
  • Python 3.10/3.11/3.12
  • CUDA 12.1/11.8
  • トーチ 2.3.0+cu121/cu118、トーチビジョン 0.18.0+cu121/cu118
• install.py は、ランタイム環境に従って自動的にプレビルドをダウンロードしてインストールします。対応するプレビルドが見つからなかった場合は、ビルド スクリプトが自動的に開始されます。自動ビルドが機能しない場合は、Semi を確認してください。 -自動ビルドガイド
• 開いている Comfy3D ワークフローに欠落しているノードがある場合は、「ComfyUI-Manager に欠落しているカスタム ノードをインストール」をクリックしてみてください。
• 何らかの理由で、comfy3d が事前トレーニング済みモデルを自動的にダウンロードできない場合は、いつでも手動でダウンロードして Checkpoints ディレクトリの下の正しいフォルダーに置くことができますが、既存の .json ファイルを上書きしないでください。
• Docker のインストールは DOCKER_INSTRUCTIONS.md を確認してください
• 注:現時点では、 InstantNGP & Convert 3DGS to Mesh with NeRF and Marching_Cubes機能させるには、Windows 用の Visual Studio Build Tools をインストールし、Linux 用のgcc g++をインストールする必要があります。これらの 2 つのノードは JIT トーチ cpp を使用しているためです。ランタイムで構築される拡張機能ですが、これらのノードをすぐに置き換える予定です

特徴：

• 使用例については、サンプル ワークフローをご覧ください。 [最終更新日: 2024 年 8 月 1 日]

  • 注:サンプル ワークフローを実行する前に、サンプル入力ファイルとフォルダーを ComfyUI ルート ディレクトリComfyUIinput フォルダーに配置する必要があります。
  • @Consumption による TripoSR レイヤード拡散ワークフロー

• StableFast3D : 安定性-AI/安定性-高速-3d

  • 単一の画像を RGB テクスチャを使用して 3D メッシュに変換
  • 注: モデルの重みをダウンロードする前に、Stability-AI の使用条件に同意する必要があります。モデルの重みを手動でダウンロードした場合は、それを Checkpoints/StableFast3D の下に置く必要があります。それ以外の場合は、Configs/ にハグギングフェイス トークンを追加できます。システム.conf
  • モデルの重み: https://huggingface.co/stabilityai/stable-fast-3d/tree/main
  2024-08-01.19-21-58.mp4

• CharacterGen : zjp-shadow/CharacterGen

  • 任意のポーズをとったキャラクターの単一の正面図
  • Unique3D ワークフローと組み合わせてより良い結果を得ることができます
  • モデルの重み: https://huggingface.co/zjpshadow/CharacterGen/tree/main
  zQ4Kb8kXr7QBxkY5.mp4

• Unique3D : アイユニAI/Unique3D

  • 4 段階のパイプライン:
    1. 単一画像から 4 つのマルチビュー画像まで解像度: 256X256
    2. 一貫したマルチビュー画像 512X512 までアップスケール、2048X2048 までの超解像度
    3. 解像度: 512X512、超解像度 2048X2048 の法線マップへのマルチビュー画像
    4. マルチビュー画像とテクスチャ付きの 3D メッシュへの法線マップ
  • 全ステージ Unique3D ワークフローを使用するには、モデルをダウンロードします。
    • sdv1.5-pruned-emaonly をYour ComfyUI root directory/ComfyUI/models/checkpointsに配置します。
    • controlnet-tile を微調整し、 Your ComfyUI root directory/ComfyUI/models/controlnetに配置します。
    • ip-adapter_sd15 をYour ComfyUI root directory/ComfyUI/models/ipadapterに置きます
    • OpenCLIP-ViT-H-14 の名前をOpenCLIP-ViT-H-14.safetensorsに変更し、 Your ComfyUI root directory/ComfyUI/models/clip_visionに置きます。
    • RealESRGAN_x4plus をYour ComfyUI root directory/ComfyUI/models/upscale_modelsに配置します。
  • モデルの重み: https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
  2024-06-0711-51-27-ezgif.com-resize-video.mp4

• Era3D MV拡散モデル：pengHTYX/Era3D

  • 単一画像から 6 つのマルチビュー画像と法線マップの解像度: 512X512
  • 注: このモデルを実行するには、少なくとも 16GB の vram が必要です
  • モデルの重み: https://huggingface.co/pengHTYX/MacLab-Era3D-512-6view/tree/main
  2024-06-0711-56-48-ezgif.com-resize-video.mp4

• InstantMesh 再構築モデル: TencentARC/InstantMesh

  • RGB テクスチャを使用した 3D メッシュへの白い背景のまばらなマルチビュー画像
  • 任意の MVDiffusion モデルで動作します (おそらく Zero123++ で最もよく動作しますが、CRM MVDiffusion モデルでも動作します)
  • モデルの重み: https://huggingface.co/TencentARC/InstantMesh/tree/main
  2024-05-23.17-35-22.mp4
  2024-05-23.17-32-31.mp4

• Zero123++ : SUDO-AI-3D/zero123plus

  • 解像度: 320X320 の単一画像から 6 ビュー画像まで

• 畳み込み再構成モデ​​ル：thu-ml/CRM

  • 3 段階のパイプライン:
    1. 単一画像から 6 つのビュー画像 (前、後、左、右、上、下)
    2. 単一画像と 6 つのビュー画像を 6 つの同じビューに変換 CCM (正準座標マップ)
    3. 6 つのビュー画像と CCM を 3D メッシュに変換
  • 注: 低 vram PC の場合、各ステージの 3 つのモデルすべてを GPU メモリに収めることができない場合は、これら 3 つのステージを異なる快適なワークフローに分割し、個別に実行できます。
  • モデルの重み: https://huggingface.co/sudo-ai/zero123plus-v1.2
  2024-03-12.22-05-10.mp4

• TripoSR : VAST-AI-Research/TripoSR | ComfyUI-Flowty-TripoSR

  • NeRF 表現を生成し、マーチング キューブを使用して 3D メッシュに変換します。
  • モデルの重み: https://huggingface.co/stabilityai/TripoSR/tree/main
  2024-03-05.22-38-36.mp4

• ワンダー3D : xxlong0/ワンダー3D

  • 単一の画像から空間的に一貫した 6 ビューの画像と法線マップを生成
  • モデルの重み: https://huggingface.co/flamehaze1115/wonder3d-v1.0/tree/main

  

• 大規模多視点ガウスモデル：3DTopia/LGM

  • RTX3080 GPU で 30 秒以内に単一画像を 3D ガウスに変換できます。後で 3D ガウスをメッシュに変換することもできます
  • モデルの重み: https://huggingface.co/ashawkey/LGM/tree/main
  2024-02-08.23-36-31.mp4

• Triplane Gaussian Transformers : VAST-AI-Research/TriplaneGaussian

  • RTX3080 GPU で 10 秒以内に単一画像を 3D ガウスに変換できます。後で 3D ガウスをメッシュに変換することもできます
  • モデルの重み: https://huggingface.co/VAST-AI/TriplaneGaussian/tree/main
  2024-02-08.23-57-37.mp4

• 3DGS と 3D メッシュのプレビュー: ComfyUI 内の 3D ビジュアライゼーション:

  • 3DGS および 3D メッシュの視覚化にそれぞれ gsplat.js と three.js を使用する
  • JS ライブラリに基づくカスタマイズ可能な背景: mdbassit/Coloris
  2024-02-04.19-20-17.mp4

• Stack Orbit Camera Poses : あらゆる範囲のカメラ ポーズの組み合わせを自動的に生成します

  • これを使用して、1 つのプロンプト パスであらゆる範囲のカメラ ポーズを使用して StableZero123 を調整できます (最初にチェックポイントをダウンロードする必要があります)。

  • これを使用して、軌道カメラのポーズを生成し、他の 3D プロセス ノード (GaussianSplatting や BakeTextureToMesh など) に直接入力できます。

  • 使用例:

    
    

  • 座標系:

    • 方位角: 上面図では、角度 0 からステップ -90 で 360 度回転すると、(0、-90、-180/180、90、0) が得られます。この場合、カメラは時計回りに回転し、その逆も同様です。
    • 仰角: カメラが水平方向に前方を向いている場合、地面を下に向けている場合は負の角度であり、その逆の場合も同様です。

• FlexiCube : nv-tlabs/FlexiCube

  • 入力としてのマルチビュー深度とマスク (オプションの法線マップ)
  • 3Dメッシュにエクスポート
  • 使用ガイド:
    • voxel_grids_resolution : メッシュの解像度/品質を決定します
    • Depth_min_ distance Depth_max_ distance : オブジェクトからカメラまでの距離。レンダリング内のオブジェクト部分が Depth_min_ distance( Depth_max_ distance ) よりもカメラに近い(遠い)場合は、真っ白(黒)の RGB 値 1, 1, 1(0, 0, 0) でレンダリングされます。
    • Mask_loss_weight : 再構築された 3D メッシュのシルエットを制御します
    • Depth_loss_weight : 再構築された 3D メッシュの形状を制御します。この損失はサーフェス上のメッシュ変形の詳細にも影響するため、結果は深度マップの品質に依存します。
    • Normal_loss_weight : オプション。サーフェス上のメッシュ変形の詳細を調整するために使用します
    • sdf_regulatory_weight : イメージ監視のみを使用する場合の内部面など、アプリケーションの目的によって監視されない形状領域のフローターを削除するのに役立ちます。
    • Remove_floaters_weight : 平らな領域でアーティファクトが観察される場合は、これを増やすことができます
    • cube_stabilizer_weight : これは、単一形状の最適化中に大きな影響はありませんが、場合によってはトレーニングの安定化に役立ちます。
  2024-04-12-16-21-24.mp4

• インスタント NGP : nerfacc

  • 入力としてのマルチビュー画像
  • マーチング キューブを使用して 3D メッシュにエクスポートする

• 3D ガウス スプラッティング

  • 改善された差分ガウス ラスタライゼーション
  • Gsgen の優れたコンパクトネスベースの高密度化手法、
  • 指定された 3D メッシュからのガウス分布の初期化をサポート (オプション)
  • ミニバッチ最適化をサポート
  • 入力としてのマルチビュー画像
  • 標準の 3DGS .ply 形式へのエクスポートをサポート

• ガウス スプラッティング軌道レンダラー

  • 3DGS ファイルとStack Orbit Camera Posesノードで生成されたカメラ ポーズを指定して、イメージ シーケンスまたはビデオに 3DGS をレンダリングします。

• メッシュオービットレンダラー

  • Stack Orbit Camera Posesノードによって生成されたメッシュ ファイルとカメラ ポーズを指定して、3D メッシュを画像シーケンスまたはビデオにレンダリングします。

• マルチビュー画像付きメッシュメッシュのフィッティング

  • Nvdiffrast を使用してマルチビュー イメージを特定の 3D メッシュの UVTexture にベイク処理し、以下をサポートします。
  • .obj、.ply、.glb にエクスポート

• 3D ファイルの保存と読み込み

  • 3D メッシュの .obj、.ply、.glb
  • 3DGS 用の .ply

• 3DGS および 3D メッシュの軸を切り替える

  • 異なるアルゴリズムは異なる座標系を使用する可能性が高いため、生成された結果を異なるノード間で受け渡すには、座標軸を再マッピングする機能が重要です。

• カスタマイズ可能なシステム構成ファイル

  • カスタムクライアントのIPアドレス
  • ハグフェイスユーザートークンを追加します

ロードマップ:

• CharacterGen を統合する

• 3DGS/Nerf からメッシュへの変換アルゴリズムを改善します。

  • 3DGS またはポイント クラウドをメッシュに変換するためのより良い方法を見つけてください (法線マップの再構成でしょうか?)

• いくつかの最高の MVS アルゴリズム (2DGS など) を追加および改善します。

• 生のマルチビュー画像からカメラ姿勢推定を追加

発達

貢献方法

1. プロジェクトをフォークする
2. 改善/新機能の追加
3. 開発ブランチへのプルリクエストの作成

プロジェクトの構造

• ノード.py :
  すべての Comfy3D ノード (つまり、ComfyUI 内で実際に表示および使用できるノード) のインターフェイス コードが含まれており、ここに新しいノードを追加できます。

• Gen_3D_Modules :
  すべての生成モデル/システム (マルチビュー拡散モデル、3D 再構築モデルなど) のコードを含むフォルダー。新しい 3D 生成モジュールをここに追加する必要があります

• MV_アルゴリズム:
  すべてのマルチビュー ステレオ アルゴリズム、つまりマルチビュー画像を取得して 3D 表現 (ガウス、MLP、メッシュなど) に変換するアルゴリズム (ガウス スプラッティング、NeRF、FlexiCube など) のコードを含むフォルダー。新しい MVS アルゴリズムをここに追加する必要があります

• ウェブ：
  すべてのブラウザ UI 関連のファイルとコード (html、js、css) が含まれるフォルダー (HTML レイアウト、スタイル、プレビュー 3D メッシュとガウスのコア ロジックなど)。新しい Web UI をここに追加する必要があります

• ウェブサーバー:
  ブラウザと通信するためのコード、つまり Web クライアントのリクエストを処理するためのコードを含むフォルダー (例: 特定の URL ルートでリクエストされたときに 3D メッシュをクライアントに送信する)。新しい Web サーバー関連の機能をここに追加する必要があります

• 構成:
  さまざまなモジュールのさまざまな構成ファイルを含むフォルダー。新しい構成はここに追加する必要があります。単一モジュールに複数の構成がある場合はサブフォルダーを使用します (例: Unique3D、CRM)

• チェックポイント:
  すべての事前トレーニング済みモデルと、ディフューザーに必要なモデル アーキテクチャ構成ファイルの一部が含まれるフォルダー。新しいチェックポイントがLoad_Diffusers Pipelineノードによって自動的にダウンロードできる場合は、ここに追加する必要があります。

• インストール.py :
  メインのインストール スクリプト。ランタイム環境に応じてプレビルドを自動的にダウンロードしてインストールします。対応するプレビルドが見つからなかった場合、ビルド スクリプトが自動的に開始され、要件にリストされている依存関係をインストールした直後に ComfyUI-Manager によって呼び出されます。 pipを使用した.txt
  追加しようとしている新しいモジュールに、requirements.txt と build_config.remote_packages に単純に追加できない追加パッケージが必要な場合は、このスクリプトを変更して追加を試みることができます。

• _Pre_Build :
  必要なすべての依存関係をビルドするためのファイルとコードを含むフォルダー。追加の依存関係を事前にビルドする場合は、_Pre_Builds/README.md で詳細を確認してください。

ヒント

• OpenGL (Three.js、Blender) ワールドとカメラ座標系:

      World            Camera        
    
      +y              up  target                                              
      |                |  /                                           
      |                | /                                           
      |______+x        |/______right                                      
      /                /         
     /                /          
    /                /           
  +z               forward           
  
  z-axis is pointing towards you and is coming out of the screen
  elevation: in (-90, 90), from +y to +x is (-90, 0)
  azimuth: in (-180, 180), from +z to +x is (0, 90)
  

• OpenGL エラー (例: [F glutil.cpp:338] eglInitialize() failed ) が発生した場合は、対応するノードでforce_cuda_rasterize true に設定します。
• インストール後に ComfyUI が起動または実行中にスタックする場合は、次のリンクの手順に従って問題を解決できます: GPU でニューロン モデルを評価するときにコードが無期限にハングする

サポーター

• ミスターネRF