ComfyUI-3D-包

讓 ComfyUI 中的 3D 資產生成變得更好、更方便，因為它產生圖像/影片！
這是一個廣泛的節點套件，使 ComfyUI 能夠使用尖端演算法（3DGS、NeRF 等）和模型（InstantMesh、CRM、TripoSR 等）處理 3D 輸入（網格和 UV 紋理等）。

功能——安裝——路線圖——開發——提示——支持者

安裝：

可以直接從 ComfyUI-Manager 安裝嗎？

預建可用於：
- Windows 10/11、Ubuntu 22.04
- Python 3.10/3.11/3.12
- CUDA 12.1/11.8
- 火炬 2.3.0+cu121/cu118、火炬視覺 0.18.0+cu121/cu118
install.py會根據你的運行環境自動下載並安裝Pre-builds，如果找不到相應的Pre-builds，那麼構建腳本將自動啟動，如果自動構建不適合你，那麼請查看Semi -自動構建指南
如果您在任何開啟的 Comfy3D 工作流程中缺少任何節點，請嘗試在 ComfyUI-Manager 中按一下安裝缺少的自訂節點
如果您的 comfy3d 由於某種原因無法自動下載預訓練模型，您可以隨時手動下載它們並將它們放入 Checkpoints 目錄下的正確資料夾中，但請不要覆蓋任何現有的 .json 文件
Docker安裝請檢查DOCKER_INSTRUCTIONS.md
注意：此時，您仍然需要安裝適用於 Windows 的 Visual Studio 建置工具並安裝適用於 Linux 的gcc g++以便InstantNGP & Convert 3DGS to Mesh with NeRF and Marching_Cubes才能運作，因為這兩個節點使用了JIT torch cpp在運行時構建的擴展，但我計劃很快替換這些節點

特徵：

有關用例，請查看範例工作流程。 [最後更新：2024 年 8 月 1 日]
- 注意：您需要將範例輸入檔案和資料夾放在 ComfyUI Root DirectoryComfyUIinput 資料夾下，然後才能執行範例工作流程
- @Consumation 的 tripoSR 分層擴散工作流程
StableFast3D ：穩定-AI/穩定-快速-3d
- 將單張影像轉換為具有 RGB 紋理的 3D 網格
- 注意：您需要同意 Stability-AI 的使用條款才能下載模型權重，如果您手動下載模型權重，則需要將其放在 Checkpoints/StableFast3D 下，否則您可以在 Configs/ 中新增您的 Huggingface 令牌系統設定檔
- 模型權重：https://huggingface.co/stabilityai/stable-fast-3d/tree/main
2024-08-01.19-21-58.mp4
角色產生器：zjp-shadow/CharacterGen
- 具有任意姿勢的角色的單前視圖
- 可以與 Unique3D 工作流程結合以獲得更好的結果
- 模型權重：https://huggingface.co/zjpshadow/CharacterGen/tree/main
zQ4Kb8kXr7QBxkY5.mp4
Unique3D ：AiuniAI/Unique3D
- 四階段管道：
  1. 單張影像到4張多視圖影像，解析度：256X256
  2. 一致的多視圖影像升級至 512X512，超解析度至 2048X2048
  3. 多視圖影像轉法線貼圖，解析度：512X512，超解析度至2048X2048
  4. 多視圖影像和法線貼圖到帶有紋理的 3D 網格
- 若要使用 All stage Unique3D 工作流程，請下載模型：
  - sdv1.5-pruned-emaonly 並將其放入Your ComfyUI root directory/ComfyUI/models/checkpoints
  - 微調controlnet-tile並將其放入Your ComfyUI root directory/ComfyUI/models/controlnet
  - ip-adapter_sd15 並將其放入Your ComfyUI root directory/ComfyUI/models/ipadapter
  - OpenCLIP-ViT-H-14，將其重新命名為OpenCLIP-ViT-H-14.safetensors並將其放入Your ComfyUI root directory/ComfyUI/models/clip_vision
  - RealESRGAN_x4plus 並將其放入Your ComfyUI root directory/ComfyUI/models/upscale_models
- 模型權重：https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
2024-06-0711-51-27-ezgif.com-調整大小-video.mp4
Era3D MVDiffusion 模型：pengHTYX/Era3D
- 單一影像到 6 個多視圖影像和法線貼圖，解析度：512X512
- 注意：您至少需要 16GB vram 才能運行此模型
- 模型權重：https://huggingface.co/pengHTYX/MacLab-Era3D-512-6view/tree/main
2024-06-0711-56-48-ezgif.com-調整大小-video.mp4
InstantMesh重構模型：TencentARC/InstantMesh
- 白色背景的稀疏多視圖影像到具有 RGB 紋理的 3D 網格
- 適用於任意 MVDiffusion 模型（可能最適合 Zero123++，但也適用於 CRM MVDiffusion 模型）
- 模型權重：https://huggingface.co/TencentARC/InstantMesh/tree/main
2024-05-23.17-35-22.mp4
2024-05-23.17-32-31.mp4
Zero123++ ：SUDO-AI-3D/zero123plus
- 單幅影像至 6 幅影像，解析度：320X320
卷積重建模型：thu-ml/CRM
- 三階段管道：
  1. 單張影像至 6 個視圖影像（前、後、左、右、上、下）
  2. 單一影像和 6 個視圖影像到 6 個相同視圖 CCM（規範座標圖）
  3. 6 視圖影像和 CCM 到 3D 網格
- 注意：對於低顯存電腦，如果您無法將每個階段的所有三個模型放入您的 GPU 記憶體中，那麼您可以將這三個階段劃分為不同的舒適工作流程並單獨運行它們
- 模型權重：https://huggingface.co/sudo-ai/zero123plus-v1.2
2024-03-12.22-05-10.mp4
TripoSR ：VAST-AI-Research/TripoSR | ComfyUI-Flowty-TripoSR
- 產生 NeRF 表示並使用行進立方體將其轉換為 3D 網格
- 模型權重：https://huggingface.co/stabilityai/TripoSR/tree/main
2024-03-05.22-38-36.mp4
Wonder3D ：xxlong0/Wonder3D
- 從單一影像產生空間一致的 6 視圖影像和法線貼圖
- 模型權重：https://huggingface.co/flamehaze1115/wonder3d-v1.0/tree/main
大型多視圖高斯模型：3DTopia/LGM
- 在 RTX3080 GPU 上，在不到 30 秒的時間內將單張影像轉換為 3D 高斯，稍後您還可以將 3D 高斯轉換為網格
- 模型權重：https://huggingface.co/ashawkey/LGM/tree/main
2024-02-08.23-36-31.mp4
三平面高斯變換器：VAST-AI-Research/TriplaneGaussian
- 在 RTX3080 GPU 上，在不到 10 秒的時間內將單一影像啟用為 3D 高斯，稍後您還可以將 3D 高斯轉換為網格
- 模型權重：https://huggingface.co/VAST-AI/TriplaneGaussian/tree/main
2024-02-08.23-57-37.mp4
預覽 3DGS 和 3D Mesh ：ComfyUI 內的 3D 視覺化：
- 分別使用 gsplat.js 和 Three.js 進行 3DGS 和 3D Mesh 視覺化
- 基於JS庫的可自訂背景：mdbassit/Coloris
2024-02-04.19-20-17.mp4
堆疊軌道相機姿勢：自動產生所有範圍的相機姿勢組合
- 您可以使用它來調整 StableZero123（您需要先下載檢查點），一次即可獲得全方位的相機姿勢
- 您可以使用它來產生軌道相機姿勢並直接輸入到其他3D流程節點（例如GaussianSplatting和BakeTextureToMesh）
- 用法範例：
- 座標系：
  - 方位角：在俯視圖中，從角度0 開始旋轉360 度，步長為-90，得到(0, -90, -180/180, 90, 0)，在這種情況下相機順時針旋轉，反之亦然。
  - 仰角：0時相機水平向前指向，向下指向地面為負角，反之亦然。
FlexiCubes ：nv-tlabs/FlexiCubes
- 多視圖深度和掩模（可選法線貼圖）作為輸入
- 匯出到 3D 網格
- 使用指南：
  - voxel_grids_resolution ：確定網格解析度/質量
  - height_min_distance height_max_distance ：物體到相機的距離，渲染中比深度_min_距離（深度_最大距離）更接近相機的物體部分將以純白色（黑色）RGB值1, 1, 1(0, 0, 0)渲染
  - mask_loss_weight ：控制重建 3D 網格的輪廓
  - height_loss_weight ：控制重建 3D 網格的形狀，此損失也會影響表面上的網格變形細節，因此結果取決於深度圖的質量
  - Normal_loss_weight ：可選。用於細化表面上的網格變形細節
  - sdf_regularizer_weight ：幫助刪除不受應用程式目標監督的形狀區域中的漂浮物，例如僅使用影像監督時的內部面
  - remove_floaters_weight ：如果您在平坦區域觀察到偽影，則可以增加該權重
  - cube_stabilizer_weight ：這在單一形狀的最佳化過程中不會產生重大影響，但在某些情況下有助於穩定訓練
2024-04-12-16-21-24.mp4
即時 NGP : nerfacc
- 多視圖影像作為輸入
- 使用行進立方體匯出到 3D 網格
3D 高斯潑濺
- 改進的差分高斯光柵化
- Gsgen 更好的基於緊湊性的緻密化方法，
- 支援從給定的 3D 網格初始化高斯（可選）
- 支援小批量優化
- 多視圖影像作為輸入
- 支援導出為標準 3DGS .ply 格式
高斯濺鍍軌道渲染器
- 給定 3DGS 檔案和Stack Orbit Camera Poses節點產生的相機姿勢，將 3DGS 渲染為影像序列或視頻
網格軌道渲染器
- 給定網格檔案和Stack Orbit Camera Poses節點產生的相機姿勢，將 3D 網格渲染為影像序列或視頻
Fitting_Mesh_With_Multiview_Images
- 使用 Nvdiffrast 將多視圖影像烘焙到給定 3D 網格的 UVTexture 中，支援：
- 導出為 .obj、.ply、.glb
儲存並載入 3D 文件
- 用於 3D 網格的 .obj、.ply、.glb
- .ply 用於 3DGS
3DGS 和 3D 網格的切換軸
- 由於不同的演算法可能使用不同的座標系，因此重新映射座標軸的能力對於在不同節點之間傳遞產生的結果至關重要。
可自訂的系統設定檔
- 自訂客戶端IP位址
- 新增您的 Huggingface 使用者令牌

路線圖：

整合CharacterGen
改進 3DGS/Nerf 到 Mesh 轉換演算法：
- 找到更好的方法將 3DGS 或點雲轉換為網格（可能是法線貼圖重建？）
添加和改進一些最好的MVS演算法（例如2DGS等）
從原始多視圖影像新增相機姿態估計

發展

如何貢獻

分叉項目
進行改進/新增功能
建立到 dev 分支的 Pull 請求

專案結構

節點.py ：
包含所有 Comfy3D 節點的介面程式碼（即您在 ComfyUI 中實際看到和使用的節點），您可以在此處新增節點
Gen_3D_模組：
包含所有生成模型/系統（例如多視圖擴散模型、3D 重建模型）的程式碼的資料夾。應在此處新增的 3D 生成模組
MVs_演算法：
包含所有多視圖立體演算法的程式碼的資料夾，即獲取多視圖影像並將其轉換為 3D 表示（例如高斯、MLP 或網格）的演算法（例如 Gaussian Splatting、NeRF 和 FlexiCubes）。應在此處添加新的 MVS 演算法
網址：
包含所有瀏覽器 UI 相關內容的檔案和程式碼（html、js、css）的資料夾（例如 html 佈局、樣式以及預覽 3D 網格和高斯的核心邏輯）。應在此處新增新的 Web UI
網路伺服器：
包含與瀏覽器通訊的程式碼的資料夾，即處理 Web 用戶端請求（例如，使用某些 url 路由請求時，將 3D 網格傳送至用戶端）。應在此處新增的 Web 伺服器相關功能
配置：
包含不同模組的不同設定檔的資料夾，應在此處新增配置，如果單一模組有多個配置（例如 Unique3D、CRM），請使用子資料夾
檢查點：
包含所有預訓練模型和擴散器所需的一些模型架構設定檔的資料夾，如果新的檢查點可以透過Load_Diffusers Pipeline節點自動下載，則應將其新增至此處
安裝.py ：
主安裝腳本，將根據您的運行環境自動下載並安裝預構建，如果找不到相應的預構建，則構建腳本將自動啟動，由 ComfyUI-Manager 在安裝需求中列出的依賴項後立即調用使用pip 的.txt
如果您嘗試新增的新模組需要一些額外的套件，而這些套件無法簡單地新增到requirements.txt和build_config.remote_packages中，那麼您可以嘗試透過修改此腳本來新增它
_預_建置：
包含建置所有必要依賴項的檔案和程式碼的資料夾，如果您想要預先建置一些額外的依賴項，請檢查 _Pre_Builds/README.md 以取得更多資訊

尖端

OpenGL（Three.js、Blender）世界與相機座標系：

    World            Camera        
  
    +y              up  target                                              
    |                |  /                                           
    |                | /                                           
    |______+x        |/______right                                      
    /                /         
   /                /          
  /                /           
+z               forward           

z-axis is pointing towards you and is coming out of the screen
elevation: in (-90, 90), from +y to +x is (-90, 0)
azimuth: in (-180, 180), from +z to +x is (0, 90)

如果遇到OpenGL錯誤（例如， [F glutil.cpp:338] eglInitialize() failed ），則在對應節點上將force_cuda_rasterize設為true
如果安裝後，您的 ComfyUI 在啟動或運行時卡住，您可以按照以下連結中的說明解決問題：在 GPU 上評估神經元模型時程式碼無限期掛起