แพ็ค ComfyUI 3D

ComfyUI-3D-แพ็ค

ทำให้การสร้างเนื้อหา 3 มิติใน ComfyUI ดีและสะดวกสบายเนื่องจากสร้างภาพ/วิดีโอ!
นี่คือชุดโหนดที่ครอบคลุมที่ช่วยให้ ComfyUI สามารถประมวลผลอินพุต 3 มิติ (พื้นผิวตาข่ายและ UV ฯลฯ) โดยใช้อัลกอริธึมล้ำสมัย (3DGS, NeRF ฯลฯ) และโมเดล (InstantMesh, CRM, TripoSR ฯลฯ)

คุณสมบัติ — ติดตั้ง — แผนงาน — การพัฒนา — เคล็ดลับ — ผู้สนับสนุน

ติดตั้ง:

สามารถติดตั้งได้โดยตรงจาก ComfyUI-Manager หรือไม่

• การสร้างล่วงหน้ามีให้สำหรับ:
  • วินโดวส์ 10/11, อูบุนตู 22.04
  • หลาม 3.10/3.11/3.12
  • CUDA 12.1/11.8
  • ไฟฉาย 2.3.0+cu121/cu118, ไฟฉาย 0.18.0+cu121/cu118
• install.py จะดาวน์โหลดและติดตั้ง Pre-builds โดยอัตโนมัติตามสภาพแวดล้อมรันไทม์ของคุณ หากไม่พบ Pre-builds ที่เกี่ยวข้อง สคริปต์ build จะเริ่มโดยอัตโนมัติ หาก build อัตโนมัติไม่ทำงานสำหรับคุณ โปรดตรวจสอบ Semi - คู่มือการสร้างอัตโนมัติ
• หากคุณมีโหนดที่ขาดหายไปในเวิร์กโฟลว์ Comfy3D ที่เปิดอยู่ ให้ลองคลิกติดตั้งโหนดแบบกำหนดเองที่ขาดหายไปใน ComfyUI-Manager
• หาก Comfy3d ของคุณไม่สามารถดาวน์โหลดโมเดลที่ผ่านการฝึกอบรมล่วงหน้าได้โดยอัตโนมัติด้วยเหตุผลบางประการ คุณสามารถดาวน์โหลดได้ด้วยตนเองและใส่ลงในโฟลเดอร์ที่ถูกต้องภายใต้ไดเร็กทอรี Checkpoints แต่โปรด อย่า เขียนทับไฟล์ .json ที่มีอยู่
• ติดตั้ง Docker โปรดตรวจสอบ DOCKER_INSTRUCTIONS.md
• หมายเหตุ: ในขณะนี้ คุณยังคงต้องติดตั้ง Visual Studio Build Tools สำหรับ windows และติดตั้ง gcc g++ สำหรับ Linux เพื่อให้ InstantNGP & Convert 3DGS to Mesh with NeRF and Marching_Cubes ทำงานได้ เนื่องจากทั้งสองโหนดใช้ JIT torch cpp ส่วนขยายที่สร้างในรันไทม์ แต่ฉันวางแผนที่จะแทนที่โหนดเหล่านั้นในไม่ช้า

คุณสมบัติ:

• สำหรับกรณีการใช้งาน โปรดดูตัวอย่างเวิร์กโฟลว์ [ อัปเดตล่าสุด: 01/สิงหาคม/2024 ]

  • หมายเหตุ: คุณต้องใส่ไฟล์และโฟลเดอร์อินพุตตัวอย่างไว้ใต้โฟลเดอร์ ComfyUI Root DirectoryComfyUIinput ก่อนจึงจะสามารถเรียกใช้เวิร์กโฟลว์ตัวอย่างได้
  • เวิร์กโฟลว์การแพร่กระจายแบบชั้น tripoSR โดย @Consumption

• StableFast3D : ความเสถียร-AI/เสถียร-เร็ว-3d

  • ภาพเดียวเป็น 3D Mesh พร้อมพื้นผิว RGB
  • หมายเหตุ: คุณต้องยอมรับเงื่อนไขการใช้งานของ Stability-AI ก่อนที่จะสามารถดาวน์โหลดตุ้มน้ำหนักโมเดลได้ หากคุณดาวน์โหลดตุ้มน้ำหนักโมเดลด้วยตนเอง คุณจะต้องวางไว้ใต้ Checkpoints/StableFast3D ไม่เช่นนั้น คุณจะสามารถเพิ่มโทเค็น Huggingface ของคุณได้ใน Configs/ system.conf
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/stabilityai/stable-fast-3d/tree/main
  2024-08-01.19-21-58.mp4

• CharacterGen : zjp-shadow/CharacterGen

  • มุมมองด้านหน้าเดี่ยวของตัวละครที่มีท่าทางตามอำเภอใจ
  • สามารถใช้ร่วมกับขั้นตอนการทำงาน Unique3D เพื่อผลลัพธ์ที่ดีกว่า
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/zjpshadow/CharacterGen/tree/main
  zQ4Kb8kXr7QBxkY5.mp4

• Unique3D : AiuniAI/Unique3D

  • ไปป์ไลน์สี่ขั้นตอน:
    1. ภาพเดียวถึง 4 ภาพหลายมุมมองพร้อมความละเอียด: 256X256
    2. ภาพหลายมุมมองที่สอดคล้องกัน อัปเกรดเป็น 512X512 ความละเอียดสูงสุดเป็น 2048X2048
    3. รูปภาพหลายมุมมองไปยังแผนที่ปกติพร้อมความละเอียด: 512X512 ความละเอียดสูงสุดที่ 2048X2048
    4. รูปภาพหลายมุมมองและแผนที่ปกติเป็น 3D mesh พร้อมพื้นผิว
  • หากต้องการใช้เวิร์กโฟลว์ Unique3D ทุกขั้นตอน ดาวน์โหลดโมเดล:
    • sdv1.5-pruned-emaonly และใส่ลงใน Your ComfyUI root directory/ComfyUI/models/checkpoints
    • controlnet-tile ที่ปรับแต่งอย่างละเอียดแล้วนำไปไว้ใน Your ComfyUI root directory/ComfyUI/models/controlnet
    • ip-adapter_sd15 และใส่ลงใน Your ComfyUI root directory/ComfyUI/models/ipadapter
    • OpenCLIP-ViT-H-14 เปลี่ยนชื่อเป็น OpenCLIP-ViT-H-14.safetensors และใส่ลงใน Your ComfyUI root directory/ComfyUI/models/clip_vision
    • RealESRGAN_x4plus และใส่ไว้ใน Your ComfyUI root directory/ComfyUI/models/upscale_models
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
  2024-06-0711-51-27-ezgif.com-resize-video.mp4

• Era3D MVDiffusion Model : pengHTYX/Era3D

  • ภาพเดียวถึง 6 ภาพหลายมุมมอง และแผนที่ปกติที่มีความละเอียด: 512X512
  • หมายเหตุ: คุณต้องมี vram อย่างน้อย 16GB เพื่อรันโมเดลนี้
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/pengHTYX/MacLab-Era3D-512-6view/tree/main
  2024-06-0711-56-48-ezgif.com-resize-video.mp4

• แบบจำลองการสร้างใหม่ InstantMesh : TencentARC/InstantMesh

  • ภาพหลายมุมมองแบบกระจัดกระจายพร้อมพื้นหลังสีขาวเป็น 3D Mesh พร้อมพื้นผิว RGB
  • ทำงานร่วมกับโมเดล MVDiffusion โดยพลการ (อาจทำงานได้ดีที่สุดกับ Zero123++ แต่ยังใช้ได้กับโมเดล CRM MVDiffusion ด้วย)
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/TencentARC/InstantMesh/tree/main
  2024-05-23.17-35-22.mp4
  2024-05-23.17-32-31.mp4

• Zero123++ : SUDO-AI-3D/zero123plus

  • ภาพเดียวถึง 6 ดูภาพที่มีความละเอียด: 320X320

• Convolutional Restruction Model : thu-ml/CRM

  • ไปป์ไลน์สามขั้นตอน:
    1. ภาพเดี่ยวถึง 6 ภาพ (ด้านหน้า, ด้านหลัง, ซ้าย, ขวา, บนและล่าง)
    2. ภาพเดียวและ 6 ดูภาพไปยัง 6 มุมมองเดียวกัน CCM (แผนที่พิกัด Canonical)
    3. 6 ดูภาพและ CCM เป็น 3D mesh
  • หมายเหตุ: สำหรับพีซีที่มี vram ต่ำ หากคุณไม่สามารถใส่ทั้งสามรุ่นในแต่ละขั้นตอนลงในหน่วยความจำ GPU ของคุณได้ คุณสามารถแบ่งสามขั้นตอนดังกล่าวออกเป็นขั้นตอนการทำงานที่สะดวกสบายที่แตกต่างกัน และเรียกใช้งานแยกกัน
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/sudo-ai/zero123plus-v1.2
  2024-03-12.22-05-10.mp4

• TripoSR : VAST-AI-การวิจัย/TripoSR | ComfyUI-Flowty-TripoSR

  • สร้างการเป็นตัวแทน NeRF และใช้ Marching Cube เพื่อแปลงเป็น 3D Mesh
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/stabilityai/TripoSR/tree/main
  2024-03-05.22-38-36.mp4

• Wonder3D : xxlong0/Wonder3D

  • สร้างภาพ 6 มุมมองที่สอดคล้องกันเชิงพื้นที่และแผนที่ปกติจากภาพเดียว
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/flamehaze1115/wonder3d-v1.0/tree/main

  

• Large Multiview Gaussian Model : 3DTopia/LGM

  • เปิดใช้งานภาพเดียวเป็น 3D Gaussian ในเวลาน้อยกว่า 30 วินาทีบน GPU RTX3080 หลังจากนั้นคุณยังสามารถแปลง 3D Gaussian เป็น mesh ได้
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/ashawkey/LGM/tree/main
  2024-02-08.23-36-31.mp4

• หม้อแปลง Triplane Gaussian : VAST-AI-การวิจัย/TriplaneGaussian

  • เปิดใช้งานภาพเดียวเป็น 3D Gaussian ในเวลาน้อยกว่า 10 วินาทีบน GPU RTX3080 หลังจากนั้นคุณยังสามารถแปลง 3D Gaussian เป็น mesh ได้
  • ตุ้มน้ำหนักโมเดล: https://huggingface.co/VAST-AI/TriplaneGaussian/tree/main
  2024-02-08.23-57-37.mp4

• ดูตัวอย่าง 3DGS และ 3D Mesh : การแสดงภาพ 3 มิติภายใน ComfyUI:

  • การใช้ gsplat.js และ three.js สำหรับการแสดงภาพ 3DGS และ 3D Mesh ตามลำดับ
  • ฐานพื้นหลังที่ปรับแต่งได้บนไลบรารี JS: mdbassit/Coloris
  2024-02-04.19-20-17.mp4

• Stack Orbit Camera Poses : สร้างชุดท่ากล้องทุกช่วงโดยอัตโนมัติ

  • คุณสามารถใช้มันเพื่อปรับสภาพ StableZero123 ได้ (คุณต้องดาวน์โหลดจุดตรวจสอบก่อน) พร้อมโพสท่ากล้องครบวงจรในการส่งผ่านครั้งเดียว

  • คุณสามารถใช้มันเพื่อสร้างท่ากล้องวงโคจรและป้อนข้อมูลโดยตรงไปยังโหนดกระบวนการ 3 มิติอื่น ๆ (เช่น GaussianSplatting และ BakeTextureToMesh)

  • ตัวอย่างการใช้งาน:

    
    

  • ระบบพิกัด:

    • ราบ: ในมุมมองด้านบน จากมุม 0 หมุน 360 องศาด้วยขั้นตอน -90 คุณจะได้ (0, -90, -180/180, 90, 0) ในกรณีนี้ กล้องจะหมุนตามเข็มนาฬิกา และกลับกัน
    • ระดับความสูง: 0 เมื่อกล้องชี้ไปข้างหน้าในแนวนอน การชี้ลงไปที่พื้นถือเป็นมุมลบ ในทางกลับกัน

• FlexiCubes : nv-tlabs/FlexiCubes

  • ความลึกและมาสก์หลายมุมมอง (แผนที่ปกติเสริม) เป็นอินพุต
  • ส่งออกไปยัง 3D Mesh
  • คู่มือการใช้งาน:
    • voxel_grids_solution : กำหนดความละเอียด/คุณภาพของ mesh
    • deep_min_distance deep_max_distance : ระยะทางจากวัตถุหนึ่งไปยังอีกกล้อง ส่วนของวัตถุในการเรนเดอร์ที่อยู่ใกล้ (ไกลกว่า) กับกล้องมากกว่า deep_min_distance(deep_max_distance) จะถูกเรนเดอร์ด้วยค่า RGB สีขาวบริสุทธิ์ (สีดำ) 1, 1, 1(0, 0, 0)
    • mask_loss_weight : ควบคุมภาพเงาของตาข่าย 3 มิติที่สร้างขึ้นใหม่
    • deep_loss_weight : ควบคุมรูปร่างของ 3D mesh ที่สร้างขึ้นใหม่ การสูญเสียนี้จะส่งผลต่อรายละเอียดการเปลี่ยนรูปของ mesh บนพื้นผิวด้วย ดังนั้นผลลัพธ์จึงขึ้นอยู่กับคุณภาพของแผนผังความลึก
    • Normal_loss_weight : ไม่จำเป็น ใช้เพื่อปรับแต่งรายละเอียดการเปลี่ยนรูปของตาข่ายบนพื้นผิว
    • sdf_regularizer_weight : ช่วยลบโฟลเตอร์ในบริเวณรูปร่างที่ไม่ได้ถูกควบคุมโดยวัตถุประสงค์การใช้งาน เช่น ใบหน้าภายใน เมื่อใช้การควบคุมรูปภาพเท่านั้น
    • Remove_floaters_weight : สิ่งนี้สามารถเพิ่มขึ้นได้หากคุณสังเกตเห็นสิ่งประดิษฐ์ในพื้นที่ราบ
    • cube_stabilizer_weight : สิ่งนี้ไม่มีผลกระทบอย่างมีนัยสำคัญระหว่างการปรับรูปทรงเดียวให้เหมาะสม อย่างไรก็ตาม ในบางกรณีก็ช่วยให้การฝึกมีเสถียรภาพได้
  2024-04-12-16-21-24.mp4

• NGP ทันที : nerfacc

  • ภาพหลายมุมมองเป็นอินพุต
  • ส่งออกเป็น 3D Mesh โดยใช้คิวบ์เดินขบวน

• การสาดแบบเกาส์เซียน 3 มิติ

  • ปรับปรุงการแรสเตอร์แบบ Differential Gaussian
  • วิธีการเพิ่มความหนาแน่นแบบความแน่นที่ดีกว่าจาก Gsgen
  • รองรับการเริ่มต้นเกาส์เซียนจาก 3D mesh ที่กำหนด (ไม่บังคับ)
  • รองรับการเพิ่มประสิทธิภาพมินิแบทช์
  • ภาพหลายมุมมองเป็นอินพุต
  • รองรับการส่งออกเป็นรูปแบบ 3DGS .ply มาตรฐาน

• เครื่องเรนเดอร์วงโคจรแบบเกาส์เซียน

  • เรนเดอร์ 3DGS เป็นลำดับภาพหรือวิดีโอ โดยกำหนดไฟล์ 3DGS และท่ากล้องที่สร้างโดยโหนด Stack Orbit Camera Poses

• ตัวเรนเดอร์วงโคจรแบบตาข่าย

  • เรนเดอร์ 3D mesh เป็นลำดับภาพหรือวิดีโอ โดยกำหนดไฟล์ mesh และท่ากล้องที่สร้างโดยโหนด Stack Orbit Camera Poses

• Fitting_Mesh_With_Multiview_Images

  • อบภาพ Multi-View ลงใน UVTexture ของ 3D mesh ที่กำหนดโดยใช้ Nvdiffrast รองรับ:
  • ส่งออกเป็น .obj, .ply, .glb

• บันทึกและโหลดไฟล์ 3D

  • .obj, .ply, .glb สำหรับ 3D Mesh
  • .ply สำหรับ 3DGS

• สลับแกนสำหรับ 3DGS และ 3D Mesh

  • เนื่องจากอัลกอริธึมที่ต่างกันมีแนวโน้มที่จะใช้ระบบพิกัดที่แตกต่างกัน ดังนั้นความสามารถในการแมปแกนของพิกัดใหม่จึงมีความสำคัญอย่างยิ่งในการส่งผลลัพธ์ที่สร้างขึ้นระหว่างโหนดที่แตกต่างกัน

• ไฟล์กำหนดค่าระบบที่ปรับแต่งได้

  • ที่อยู่ IP ของลูกค้าที่กำหนดเอง
  • เพิ่มโทเค็นผู้ใช้กอดของคุณ

แผนการทำงาน:

• รวม CharacterGen

• ปรับปรุงอัลกอริธึมการแปลง 3DGS/Nerf เป็น Mesh:

  • ค้นหาวิธีที่ดีกว่าในการแปลง 3DGS หรือ Points Cloud เป็น Mesh (อาจมีการสร้างแผนที่ปกติขึ้นใหม่)

• เพิ่มและปรับปรุงอัลกอริธึม MVS ที่ดีที่สุด (เช่น 2DGS เป็นต้น)

• เพิ่มการประมาณท่าทางกล้องจากภาพดิบหลายมุมมอง

การพัฒนา

วิธีการมีส่วนร่วม

1. แยกโครงการ
2. ทำการปรับปรุง/เพิ่มคุณสมบัติใหม่
3. การสร้างคำขอดึงไปยังสาขา dev

โครงสร้างโครงการ

• nodes.py :
  ประกอบด้วยโค้ดอินเทอร์เฟซสำหรับโหนด Comfy3D ทั้งหมด (เช่น โหนดที่คุณสามารถมองเห็นและใช้งานภายใน ComfyUI ได้จริง) คุณสามารถเพิ่มโหนดใหม่ได้ที่นี่

• Gen_3D_โมดูล :
  โฟลเดอร์ที่มีรหัสสำหรับโมเดล/ระบบกำเนิดทั้งหมด (เช่น โมเดลการแพร่กระจายหลายมุมมอง โมเดลการสร้างใหม่ 3 มิติ) ควรเพิ่มโมดูลกำเนิด 3D ใหม่ที่นี่

• MVs_อัลกอริทึม :
  โฟลเดอร์ที่มีโค้ดสำหรับอัลกอริธึมสเตอริโอหลายมุมมองทั้งหมด เช่น อัลกอริธึม (เช่น Gaussian Splatting, NeRF และ FlexiCubes) ที่ถ่ายภาพหลายมุมมองและแปลงเป็นรูปแบบ 3 มิติ (เช่น Gaussians, MLP หรือ Mesh) ควรเพิ่มอัลกอริทึม MVS ใหม่ที่นี่

• เว็บ :
  โฟลเดอร์ที่มีไฟล์และโค้ด (html, js, css) สำหรับทุกสิ่งที่เกี่ยวข้องกับ UI ของเบราว์เซอร์ (เช่น เค้าโครง HTML สไตล์ และตรรกะหลักสำหรับการดูตัวอย่าง 3D Mesh & Gaussians) ควรเพิ่ม UI เว็บใหม่ที่นี่

• เว็บเซิร์ฟเวอร์ :
  โฟลเดอร์ที่มีรหัสสำหรับการสื่อสารกับเบราว์เซอร์ เช่น จัดการกับคำขอเว็บไคลเอ็นต์ (เช่น การส่ง 3D Mesh ไปยังไคลเอนต์เมื่อมีการร้องขอด้วยเส้นทาง URL บางเส้นทาง) ควรเพิ่มฟังก์ชันที่เกี่ยวข้องกับเว็บเซิร์ฟเวอร์ใหม่ที่นี่

• การกำหนดค่า :
  โฟลเดอร์ที่มีไฟล์กำหนดค่าที่แตกต่างกันสำหรับโมดูลที่แตกต่างกัน ควรเพิ่มการกำหนดค่าใหม่ที่นี่ ใช้โฟลเดอร์ย่อยหากมีการกำหนดค่ามากกว่าหนึ่งรายการในโมดูลเดียว (เช่น Unique3D, CRM)

• จุดตรวจ :
  โฟลเดอร์ที่มีโมเดลที่ได้รับการฝึกอบรมล่วงหน้าทั้งหมดและไฟล์กำหนดค่าสถาปัตยกรรมโมเดลบางส่วนที่ตัวกระจายสัญญาณต้องการ จุดตรวจสอบใหม่หากสามารถดาวน์โหลดได้โดยอัตโนมัติโดยโหนด Load_Diffusers Pipeline จากนั้นควรเพิ่มที่นี่

• ติดตั้ง.py :
  สคริปต์การติดตั้งหลักจะดาวน์โหลดและติดตั้ง Pre-builds โดยอัตโนมัติตามสภาพแวดล้อมรันไทม์ของคุณ หากไม่พบ Pre-builds ที่เกี่ยวข้อง สคริปต์ build จะเริ่มทำงานโดยอัตโนมัติ เรียกโดย ComfyUI-Manager ทันทีหลังจากติดตั้งการขึ้นต่อกันที่ระบุไว้ในข้อกำหนด .txt โดยใช้ pip
  หากโมดูลใหม่ที่คุณพยายามเพิ่มต้องการแพ็คเกจเพิ่มเติมที่ไม่สามารถเพิ่มลงใน Requirement.txt และ build_config.remote_packages ได้ง่ายๆ คุณสามารถลองเพิ่มได้โดยแก้ไขสคริปต์นี้

• _Pre_Builds :
  โฟลเดอร์ที่มีไฟล์และโค้ดสำหรับสร้างการขึ้นต่อกันที่จำเป็นทั้งหมด หากคุณต้องการสร้างการขึ้นต่อกันเพิ่มเติมล่วงหน้า โปรดตรวจสอบ _Pre_Builds/README.md เพื่อดูข้อมูลเพิ่มเติม

เคล็ดลับ

• OpenGL (Three.js, Blender) โลกและระบบพิกัดกล้อง:

      World            Camera        
    
      +y              up  target                                              
      |                |  /                                           
      |                | /                                           
      |______+x        |/______right                                      
      /                /         
     /                /          
    /                /           
  +z               forward           
  
  z-axis is pointing towards you and is coming out of the screen
  elevation: in (-90, 90), from +y to +x is (-90, 0)
  azimuth: in (-180, 180), from +z to +x is (0, 90)
  

• หากคุณพบข้อผิดพลาด OpenGL (เช่น [F glutil.cpp:338] eglInitialize() failed ) ให้ตั้ง force_cuda_rasterize เป็น true บนโหนดที่เกี่ยวข้อง
• หากหลังจากการติดตั้ง ComfyUI ของคุณติดขัดเมื่อเริ่มต้นหรือทำงาน คุณสามารถทำตามคำแนะนำในลิงก์ต่อไปนี้เพื่อแก้ไขปัญหา: โค้ดค้างโดยไม่มีกำหนดเมื่อประเมินโมเดล Neuron บน GPU

ผู้สนับสนุน

• มิสเตอร์เนฟ