ComfyUI-3D 팩

이미지/비디오를 생성하므로 ComfyUI에서 3D 자산 생성을 훌륭하고 편리하게 만들어보세요!
이는 ComfyUI가 최첨단 알고리즘(3DGS, NeRF 등)과 모델(InstantMesh, CRM, TripoSR 등)을 사용하여 3D 입력(메시 및 UV 텍스처 등)을 처리할 수 있도록 하는 광범위한 노드 제품군입니다.

기능 — 설치 — 로드맵 — 개발 — 팁 — 지지자

설치하다:

ComfyUI-Manager에서 직접 설치할 수 있나요?

다음과 같은 경우 사전 빌드를 사용할 수 있습니다.
- 윈도우 10/11, 우분투 22.04
- 파이썬 3.10/3.11/3.12
- 쿠다 12.1/11.8
- 토치 2.3.0+cu121/cu118, 토치비전 0.18.0+cu121/cu118
install.py는 런타임 환경에 따라 사전 빌드를 자동으로 다운로드 및 설치합니다. 해당 사전 빌드를 찾을 수 없으면 빌드 스크립트가 자동으로 시작됩니다. 자동 빌드가 작동하지 않으면 Semi를 확인하세요. -자동 빌드 가이드
열려 있는 Comfy3D 작업 흐름에 누락된 노드가 있는 경우 ComfyUI-Manager에서 누락된 사용자 정의 노드 설치를 클릭해 보십시오.
어떤 이유로 comfy3d가 사전 훈련된 모델을 자동으로 다운로드할 수 없는 경우 언제든지 수동으로 다운로드하여 Checkpoints 디렉터리 아래의 올바른 폴더에 넣을 수 있지만 기존 .json 파일을 덮어 쓰지 마십시오.
Docker 설치는 DOCKER_INSTRUCTIONS.md를 확인하세요.
참고: 현재로서는 InstantNGP & Convert 3DGS to Mesh with NeRF and Marching_Cubes 작동하려면 Windows용 Visual Studio Build Tools를 설치하고 Linux용 gcc g++ 설치해야 합니다. 두 노드가 JIT 토치 cpp를 사용했기 때문입니다. 런타임에 빌드되는 확장이지만 곧 해당 노드를 교체할 계획입니다.

특징:

사용 사례는 예제 워크플로를 확인하세요. [ 최종 업데이트 : 2024년 8월 1일 ]
- 참고: 예제 워크플로를 실행하려면 먼저 ComfyUI Root DirectoryComfyUIinput 폴더 아래에 예제 입력 파일 및 폴더를 넣어야 합니다.
- @Consumption의 tripoSR 계층 확산 워크플로우
StableFast3D : 안정성-AI/stable-fast-3d
- 단일 이미지를 RGB 텍스처를 사용하여 3D 메시로 변환
- 참고: 모델 가중치를 다운로드하기 전에 Stability-AI의 사용 약관에 동의해야 합니다. 모델 가중치를 수동으로 다운로드한 경우 Checkpoints/StableFast3D 아래에 넣어야 합니다. 그렇지 않으면 Configs/에 Huggingface 토큰을 추가할 수 있습니다. system.conf
- 모델 가중치: https://huggingface.co/stabilityai/stable-fast-3d/tree/main
2024-08-01.19-21-58.mp4
CharacterGen : zjp-shadow/CharacterGen
- 임의의 포즈를 취한 캐릭터의 단일 정면 모습
- 더 나은 결과를 위해 Unique3D 작업 흐름과 결합 가능
- 모델 가중치: https://huggingface.co/zjpshadow/CharacterGen/tree/main
zQ4Kb8kXr7QBxkY5.mp4
Unique3D : AiuniAI/Unique3D
- 4단계 파이프라인:
  1. 단일 이미지에서 해상도가 있는 4개의 다중 뷰 이미지: 256X256
  2. 일관된 다중 뷰 이미지 512X512까지 업스케일, 2048X2048까지 초해상도
  3. 해상도가 있는 일반 맵에 대한 다중 뷰 이미지: 512X512, 초해상도 최대 2048X2048
  4. 멀티뷰 이미지 및 텍스처가 있는 3D 메시에 대한 노멀 맵
- 모든 단계의 Unique3D 워크플로를 사용하려면 모델 다운로드:
  - sdv1.5-pruned-emaonly를 선택하여 Your ComfyUI root directory/ComfyUI/models/checkpoints 에 넣습니다.
  - controlnet 타일을 미세 조정하고 이를 Your ComfyUI root directory/ComfyUI/models/controlnet 에 넣습니다.
  - ip-adapter_sd15를 Your ComfyUI root directory/ComfyUI/models/ipadapter 에 넣습니다.
  - OpenCLIP-ViT-H-14, 이름을 OpenCLIP-ViT-H-14.safetensors 로 바꾸고 Your ComfyUI root directory/ComfyUI/models/clip_vision 에 넣습니다.
  - RealESRGAN_x4plus를 Your ComfyUI root directory/ComfyUI/models/upscale_models 에 넣습니다.
- 모델 가중치: https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
2024-06-0711-51-27-ezgif.com-resize-video.mp4
Era3D MVDiffusion 모델 : pengHTYX/Era3D
- 단일 이미지에서 6개의 다중 뷰 이미지 및 결과가 포함된 노멀 맵: 512X512
- 참고: 이 모델을 실행하려면 최소 16GB vram이 필요합니다.
- 모델 가중치: https://huggingface.co/pengHTYX/MacLab-Era3D-512-6view/tree/main
2024-06-0711-56-48-ezgif.com-resize-video.mp4
InstantMesh 재구성 모델 : TencentARC/InstantMesh
- 흰색 배경의 희박한 다중 뷰 이미지를 RGB 텍스처가 있는 3D 메시로 변환
- 임의의 MVDiffusion 모델과 함께 작동합니다(아마도 Zero123++에서 가장 잘 작동하지만 CRM MVDiffusion 모델에서도 작동함)
- 모델 가중치: https://huggingface.co/TencentARC/InstantMesh/tree/main
2024-05-23.17-35-22.mp4
2024-05-23.17-32-31.mp4
Zero123++ : SUDO-AI-3D/zero123plus
- 단일 이미지에서 해상도가 있는 6개 이미지 보기: 320X320
컨볼루셔널 재구성 모델 : thu-ml/CRM
- 3단계 파이프라인:
  1. 단일 이미지에서 6개 이미지 보기(전면, 후면, 왼쪽, 오른쪽, 위쪽 및 아래쪽)
  2. 단일 이미지 및 6개의 뷰 이미지에서 6개의 동일한 뷰 CCM(Canonical Coordinate Maps)
  3. 6개의 이미지 보기 및 3D 메시에 대한 CCM
- 참고: vram이 낮은 PC의 경우 각 단계의 세 가지 모델을 모두 GPU 메모리에 맞출 수 없는 경우 해당 세 단계를 서로 다른 편안한 워크플로로 나누어 별도로 실행할 수 있습니다.
- 모델 가중치: https://huggingface.co/sudo-ai/zero123plus-v1.2
2024-03-12.22-05-10.mp4
TripoSR : VAST-AI-연구/TripoSR | ComfyUI-Flowty-TripoSR
- NeRF 표현을 생성하고 마칭 큐브를 사용하여 이를 3D 메시로 변환
- 모델 가중치: https://huggingface.co/stabilityai/TripoSR/tree/main
2024-03-05.22-38-36.mp4
Wonder3D : xxlong0/Wonder3D
- 단일 이미지에서 공간적으로 일관된 6개 뷰 이미지 및 노멀 맵 생성
- 모델 가중치: https://huggingface.co/flamehaze1115/wonder3d-v1.0/tree/main
대형 다중뷰 가우스 모델 : 3DTopia/LGM
- RTX3080 GPU에서 30초 이내에 단일 이미지를 3D 가우스로 활성화하고 나중에 3D 가우스를 메시로 변환할 수도 있습니다.
- 모델 가중치: https://huggingface.co/ashawkey/LGM/tree/main
2024-02-08.23-36-31.mp4
Triplane Gaussian Transformers : VAST-AI-Research/TriplaneGaussian
- RTX3080 GPU에서 10초 이내에 단일 이미지를 3D 가우스로 활성화하고 나중에 3D 가우스를 메시로 변환할 수도 있습니다.
- 모델 가중치: https://huggingface.co/VAST-AI/TriplaneGaussian/tree/main
2024-02-08.23-57-37.mp4
3DGS 및 3D 메시 미리보기 : ComfyUI 내부의 3D 시각화:
- 3DGS 및 3D 메시 시각화를 위해 각각 gsplat.js 및 three.js 사용
- JS 라이브러리의 사용자 정의 가능한 배경 기반: mdbassit/Coloris
2024-02-04.19-20-17.mp4
스택 궤도 카메라 포즈 : 모든 범위의 카메라 포즈 조합을 자동으로 생성합니다.
- 한 번의 프롬프트 패스로 전체 범위의 카메라 포즈를 사용하여 StableZero123(먼저 체크포인트를 다운로드해야 함)을 컨디셔닝하는 데 사용할 수 있습니다.
- 이를 사용하여 궤도 카메라 포즈를 생성하고 다른 3D 프로세스 노드(예: GaussianSplatting 및 BakeTextureToMesh)에 직접 입력할 수 있습니다.
- 사용 예:
- 좌표계:
  - 방위각: 평면도에서 각도 0에서 -90단계로 360도 회전하면 (0, -90, -180/180, 90, 0)을 얻습니다. 이 경우 카메라는 시계 방향으로 회전하며 그 반대도 마찬가지입니다.
  - 고도: 카메라가 수평으로 앞쪽을 가리킬 때 0이고, 땅을 아래쪽으로 가리킬 때 음의 각도이며 그 반대의 경우도 마찬가지입니다.
FlexiCubes : nv-tlabs/FlexiCubes
- 다중 뷰 깊이 및 마스크(선택적 일반 맵)를 입력으로 사용
- 3D 메쉬로 내보내기
- 사용 가이드:
  - voxel_grids_solution : 메시 해상도/품질 결정
  - 깊이_최소 거리 깊이_최대 거리 : 물체에서 카메라까지의 거리, 렌더링에서 깊이_최소 거리(깊이_최대_거리)보다 카메라에 더 가까운(더 먼) 렌더링의 물체 부분은 순백색(검정색) RGB 값 1, 1, 1(0, 0, 0)으로 렌더링됩니다.
  - Mask_loss_weight : 재구성된 3D 메쉬의 실루엣을 제어합니다.
  - Depth_loss_weight : 재구성된 3D 메쉬의 모양을 제어합니다. 이 손실은 표면의 메쉬 변형 세부 사항에도 영향을 미치므로 결과는 깊이 맵의 품질에 따라 달라집니다.
  - Normal_loss_weight : 선택사항. 표면의 메쉬 변형 세부 사항을 다듬는 데 사용합니다.
  - sdf_regularizer_weight : 이미지 감독만 사용할 때 내부 면과 같이 애플리케이션 목표에 의해 감독되지 않는 모양 영역의 플로터를 제거하는 데 도움이 됩니다.
  - Remove_floaters_weight : 평평한 지역에서 아티팩트를 관찰하는 경우 증가할 수 있습니다.
  - Cube_stabilizer_weight : 단일 형태를 최적화하는 동안에는 큰 영향을 미치지 않지만 경우에 따라 훈련을 안정화하는 데 도움이 됩니다.
2024-04-12-16-21-24.mp4
인스턴트 NGP : nerfacc
- 입력으로서의 멀티뷰 이미지
- 행진 큐브를 사용하여 3D 메시로 내보내기
3D 가우스 스플래팅
- 향상된 차등 가우스 래스터화
- Gsgen의 더 나은 Compactness 기반 치밀화 방법,
- 주어진 3D 메시에서 가우스 초기화 지원(선택 사항)
- 미니 배치 최적화 지원
- 입력으로서의 멀티뷰 이미지
- 표준 3DGS .ply 형식으로 내보내기 지원
가우스 스플래팅 궤도 렌더러
- 스택 궤도 카메라 포즈 노드에서 생성된 3DGS 파일 및 카메라 포즈를 사용하여 3DGS를 이미지 시퀀스 또는 비디오로 렌더링합니다.
메시 궤도 렌더러
- 스택 궤도 카메라 포즈 노드에서 생성된 메시 파일 및 카메라 포즈를 사용하여 3D 메시를 이미지 시퀀스 또는 비디오로 렌더링합니다.
Fitting_Mesh_With_Multiview_Images
- Nvdiffrast를 사용하여 주어진 3D 메시의 UVTexture에 다중 뷰 이미지를 굽고 다음을 지원합니다.
- .obj, .ply, .glb로 내보내기
3D 파일 저장 및 로드
- 3D 메시용 .obj, .ply, .glb
- 3DGS용 .ply
3DGS 및 3D 메시용 축 전환
- 서로 다른 알고리즘은 서로 다른 좌표계를 사용할 가능성이 높으므로 생성된 결과를 서로 다른 노드 간에 전달하려면 좌표축을 다시 매핑하는 기능이 중요합니다.
사용자 정의 가능한 시스템 구성 파일
- 사용자 정의 클라이언트 IP 주소
- Huggingface 사용자 토큰을 추가하세요.

로드맵:

CharacterGen 통합
3DGS/Nerf에서 메시로의 변환 알고리즘을 개선합니다.
- 3DGS 또는 Points Cloud를 메시로 변환하는 더 나은 방법을 찾아보세요(일반 맵 재구성이 가능할까요?)
몇 가지 최고의 MVS 알고리즘(예: 2DGS 등) 추가 및 개선
원시 다중 뷰 이미지에서 카메라 포즈 추정 추가

개발

기여하는 방법

프로젝트 포크
개선/새 기능 추가
dev 브랜치에 대한 Pull Request 생성

프로젝트 구조

node.py :
모든 Comfy3D 노드(즉, ComfyUI 내에서 실제로 보고 사용할 수 있는 노드)에 대한 인터페이스 코드가 포함되어 있습니다. 여기에 새 노드를 추가할 수 있습니다.
Gen_3D_모듈 :
모든 생성 모델/시스템(예: 다중 뷰 확산 모델, 3D 재구성 모델)에 대한 코드가 포함된 폴더입니다. 여기에 새로운 3D 생성 모듈을 추가해야 합니다.
MV_알고리즘 :
모든 다중 뷰 스테레오 알고리즘, 즉 다중 뷰 이미지를 가져와 이를 3D 표현(예: Gaussian, MLP 또는 Mesh)으로 변환하는 알고리즘(예: Gaussian Splatting, NeRF 및 FlexiCubes)에 대한 코드가 포함된 폴더입니다. 여기에 새로운 MVS 알고리즘을 추가해야 합니다.
웹사이트 :
모든 브라우저 UI 관련 항목(예: html 레이아웃, 스타일 및 미리보기 3D 메시 및 가우시안을 위한 핵심 로직)에 대한 파일 및 코드(html, js, css)가 포함된 폴더입니다. 여기에 새로운 웹 UI를 추가해야 합니다
웹서버 :
브라우저와 통신하기 위한 코드가 포함된 폴더입니다. 즉, 웹 클라이언트 요청을 처리합니다(예: 특정 URL 경로로 요청 시 클라이언트에 3D 메시 보내기). 여기에 새로운 웹 서버 관련 기능을 추가해야 합니다.
구성 :
다양한 모듈에 대한 다양한 구성 파일이 포함된 폴더. 여기에 새 구성을 추가해야 합니다. 단일 모듈에 구성이 두 개 이상 있는 경우 하위 폴더를 사용하세요(예: Unique3D, CRM)
체크포인트 :
사전 학습된 모든 모델과 디퓨저에 필요한 일부 모델 아키텍처 구성 파일이 포함된 폴더, Load_Diffusers Pipeline 노드에서 자동으로 다운로드할 수 있는 경우 새 체크포인트를 여기에 추가해야 합니다.
install.py :
기본 설치 스크립트는 런타임 환경에 따라 사전 빌드를 자동으로 다운로드 및 설치합니다. 해당 사전 빌드를 찾을 수 없는 경우 요구 사항에 나열된 종속성을 설치한 직후 ComfyUI-Manager가 호출하여 빌드 스크립트가 자동으로 시작됩니다. pip를 사용하는 .txt
추가하려는 새 모듈에 단순히 요구사항.txt 및 build_config.remote_packages에 추가할 수 없는 추가 패키지가 필요한 경우 이 스크립트를 수정하여 추가해 볼 수 있습니다.
_사전_빌드 :
모든 필수 종속성을 빌드하기 위한 파일 및 코드가 포함된 폴더. 일부 추가 종속성을 미리 빌드하려면 _Pre_Builds/README.md에서 자세한 내용을 확인하세요.

팁

OpenGL(Three.js, Blender) 세계 및 카메라 좌표계:

    World            Camera        
  
    +y              up  target                                              
    |                |  /                                           
    |                | /                                           
    |______+x        |/______right                                      
    /                /         
   /                /          
  /                /           
+z               forward           

z-axis is pointing towards you and is coming out of the screen
elevation: in (-90, 90), from +y to +x is (-90, 0)
azimuth: in (-180, 180), from +z to +x is (0, 90)

OpenGL 오류(예: [F glutil.cpp:338] eglInitialize() failed )가 발생하는 경우 해당 노드에서 force_cuda_rasterize true로 설정하세요.
설치 후 ComfyUI가 시작 또는 실행 시 멈춘 경우 다음 링크의 지침에 따라 문제를 해결할 수 있습니다. GPU에서 뉴런 모델을 평가할 때 코드가 무기한 중단됩니다.