الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل
حزمة ComfyUI ثلاثية الأبعاد

ComfyUI-3D-Pack

اجعل إنشاء الأصول ثلاثية الأبعاد في ComfyUI أمرًا جيدًا ومريحًا لأنه يقوم بإنشاء صورة/فيديو!
هذه مجموعة عقدة شاملة تمكن ComfyUI من معالجة المدخلات ثلاثية الأبعاد (Mesh & UV Texture، وما إلى ذلك) باستخدام الخوارزميات المتطورة (3DGS، NeRF، وما إلى ذلك) والنماذج (InstantMesh، CRM، TripoSR، إلخ.)

الميزات - التثبيت - خارطة الطريق - التطوير - النصائح - الداعمون

ثَبَّتَ:

هل يمكن تثبيته مباشرة من ComfyUI-Manager؟

  • الإنشاءات المسبقة متاحة لـ:
    • ويندوز 10/11، أوبونتو 22.04
    • بايثون 3.10/3.11/3.12
    • كودا 12.1/11.8
    • الشعلة 2.3.0+cu121/cu118، الشعلة 0.18.0+cu121/cu118
  • سيقوم install.py بتنزيل الإنشاءات المسبقة وتثبيتها تلقائيًا وفقًا لبيئة التشغيل لديك، وإذا لم يتمكن من العثور على الإنشاءات المسبقة المقابلة، فسيبدأ البرنامج النصي للإنشاء تلقائيًا، وإذا لم يعمل الإنشاء التلقائي معك، فيرجى مراجعة Semi - دليل البناء التلقائي
  • إذا كان لديك أي عقدة مفقودة في أي سير عمل Comfy3D مفتوح، فحاول ببساطة النقر فوق تثبيت العقد المخصصة المفقودة في ComfyUI-Manager
  • إذا لم يتمكن comfy3d الخاص بك لسبب ما من تنزيل النماذج المدربة مسبقًا تلقائيًا، فيمكنك دائمًا تنزيلها يدويًا ووضعها في المجلد الصحيح ضمن دليل Checkpoints، ولكن يرجى عدم الكتابة فوق أي ملفات .json موجودة
  • تثبيت Docker يرجى التحقق من DOCKER_INSTRUCTIONS.md
  • ملاحظة: في هذه اللحظة، ستظل بحاجة إلى تثبيت Visual Studio Build Tools لنظام التشغيل windows وتثبيت gcc g++ لنظام Linux حتى يعمل InstantNGP & Convert 3DGS to Mesh with NeRF and Marching_Cubes ، نظرًا لأن هاتين العقدتين تستخدمان JIT torch cpp الامتداد الذي يتم إنشاؤه في وقت التشغيل، ولكني أخطط لاستبدال تلك العقد قريبًا

سمات:

  • للتعرف على حالات الاستخدام، يرجى مراجعة أمثلة سير العمل. [ آخر تحديث: 01/أغسطس/2024 ]

    • ملاحظة: تحتاج إلى وضع أمثلة لملفات ومجلدات المدخلات ضمن المجلد ComfyUI Root DirectoryComfyUIinput قبل أن تتمكن من تشغيل مثال سير العمل
    • سير عمل نشر طبقات tripoSR بواسطة @Consumption

  • StableFast3D : الاستقرار-AI/مستقر-سريع-3D

    • صورة واحدة إلى شبكة ثلاثية الأبعاد مع نسيج RGB
    • ملحوظة: يجب عليك الموافقة على شروط استخدام Stability-AI قبل أن تتمكن من تنزيل أوزان النموذج، إذا قمت بتنزيل أوزان النموذج يدويًا، فستحتاج إلى وضعها ضمن Checkpoints/StableFast3D، وإلا يمكنك إضافة رمز Huggingface المميز الخاص بك في Configs/ system.conf
    • أوزان النموذج: https://huggingface.co/stabilityai/stable-fast-3d/tree/main

    2024-08-01.19-21-58.mp4

  • CharacterGen : zjp-shadow/CharacterGen

    • منظر أمامي فردي لشخصية ذات وضع تعسفي
    • يمكن دمجه مع سير العمل Unique3D للحصول على نتيجة أفضل
    • أوزان النموذج: https://huggingface.co/zjpshadow/CharacterGen/tree/main

    zQ4Kb8kXr7QBxkY5.mp4

  • Unique3D : AiuniAI/Unique3D

    • أربع مراحل خط الأنابيب:
      1. صورة واحدة إلى 4 صور متعددة العرض بدقة: 256X256
      2. صور متعددة العرض متسقة تصل إلى 512X512، ودقة فائقة تصل إلى 2048X2048
      3. صور متعددة العرض للخرائط العادية ذات الدقة: 512X512، الدقة الفائقة حتى 2048X2048
      4. صور متعددة العرض وخرائط عادية لشبكة ثلاثية الأبعاد ذات نسيج
    • لاستخدام سير عمل All Stage Unique3D، قم بتنزيل النماذج:
      • sdv1.5-pruned-emaonly ووضعه في Your ComfyUI root directory/ComfyUI/models/checkpoints
      • بلاط شبكة التحكم المضبوط بدقة ووضعه في Your ComfyUI root directory/ComfyUI/models/controlnet
      • ip-adapter_sd15 ووضعه في Your ComfyUI root directory/ComfyUI/models/ipadapter
      • OpenCLIP-ViT-H-14، وأعد تسميته إلى OpenCLIP-ViT-H-14.safetensors وضعه في Your ComfyUI root directory/ComfyUI/models/clip_vision
      • RealESRGAN_x4plus ووضعه في Your ComfyUI root directory/ComfyUI/models/upscale_models
    • أوزان النماذج: https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt

    2024-06-0711-51-27-ezgif.com-resize-video.mp4

  • نموذج نشر Era3D MV : pengHTYX/Era3D

    • صورة واحدة إلى 6 صور متعددة العرض وخرائط عادية بدقة: 512X512
    • ملاحظة: تحتاج إلى 16 جيجابايت على الأقل من vram لتشغيل هذا الطراز
    • أوزان النموذج: https://huggingface.co/pengHTYX/MacLab-Era3D-512-6view/tree/main

    2024-06-0711-56-48-ezgif.com-resize-video.mp4

  • نموذج إعادة بناء InstantMesh : TencentARC/InstantMesh

    • صور متفرقة متعددة العرض بخلفية بيضاء إلى شبكة ثلاثية الأبعاد مع نسيج RGB
    • يعمل مع نماذج MVDiffusion التعسفية (ربما يعمل بشكل أفضل مع Zero123++، ولكنه يعمل أيضًا مع نموذج CRM MVDiffusion)
    • أوزان النماذج: https://huggingface.co/TencentARC/InstantMesh/tree/main

    2024-05-23.17-35-22.mp4
    2024-05-23.17-32-31.mp4

  • Zero123++ : SUDO-AI-3D/zero123plus

    • صورة واحدة إلى 6 صور عرض مع الدقة: 320X320

  • نموذج إعادة البناء التلافيفي : thu-ml/CRM

    • ثلاث مراحل خط الأنابيب:
      1. صورة واحدة لعرض 6 صور (أمامي، خلفي، يسار، يمين، أعلى وأسفل)
      2. صورة واحدة و6 صور عرض إلى 6 طرق عرض CCMs (خرائط الإحداثيات الأساسية)
      3. 6 عرض الصور وCCMs إلى شبكة ثلاثية الأبعاد
    • ملاحظة: بالنسبة لأجهزة الكمبيوتر ذات vram المنخفضة، إذا لم تتمكن من احتواء النماذج الثلاثة لكل مراحل في ذاكرة وحدة معالجة الرسومات الخاصة بك، فيمكنك تقسيم هذه المراحل الثلاث إلى سير عمل مريح مختلف وتشغيلها بشكل منفصل
    • أوزان الموديل: https://huggingface.co/sudo-ai/zero123plus-v1.2

    2024-03-12.22-05-10.mp4

  • TripoSR : VAST-AI-Research/TripoSR | ComfyUI-Flowty-TripoSR

    • قم بإنشاء تمثيل NeRF واستخدام المكعب المتحرك لتحويله إلى شبكة ثلاثية الأبعاد
    • أوزان الموديل: https://huggingface.co/stabilityai/TripoSR/tree/main

    2024-03-05.22-38-36.mp4

  • Wonder3D : xxlong0/Wonder3D

    • قم بإنشاء 6 مشاهدات مكانية متسقة وخرائط عادية من صورة واحدة
    • أوزان النماذج: https://huggingface.co/flamehaze1115/wonder3d-v1.0/tree/main

    Wonder3D_FatCat_MVs

  • نموذج غاوسي متعدد العرض كبير : 3DTopia/LGM

    • قم بتمكين صورة واحدة إلى 3D Gaussian في أقل من 30 ثانية على وحدة معالجة الرسومات RTX3080، ويمكنك لاحقًا أيضًا تحويل 3D Gaussian إلى شبكة
    • أوزان الموديل: https://huggingface.co/ashawkey/LGM/tree/main

    2024-02-08.23-36-31.mp4

  • المحولات الغوسية الثلاثية : VAST-AI-Research/TriplaneGaussian

    • قم بتمكين صورة واحدة إلى 3D Gaussian في أقل من 10 ثوانٍ على وحدة معالجة الرسومات RTX3080، ويمكنك لاحقًا أيضًا تحويل 3D Gaussian إلى شبكة
    • أوزان النماذج: https://huggingface.co/VAST-AI/TriplaneGaussian/tree/main

    2024-02-08.23-57-37.mp4

  • معاينة 3DGS و3D Mesh : التصور ثلاثي الأبعاد داخل ComfyUI:

    • استخدام gsplat.js وthree.js لتصورات 3DGS و3D Mesh على التوالي
    • قاعدة خلفية قابلة للتخصيص في مكتبة JS: mdbassit/Coloris

    2024-02-04.19-20-17.mp4

  • Stack Orbit Camera Poses : قم تلقائيًا بإنشاء جميع مجموعات أوضاع الكاميرا

    • يمكنك استخدامه لتكييف StableZero123 (تحتاج إلى تنزيل نقطة التفتيش أولاً)، مع مجموعة كاملة من أوضاع الكاميرا في تمريرة سريعة واحدة

    • يمكنك استخدامه لإنشاء أوضاع الكاميرا المدارية والإدخال مباشرة إلى عقدة معالجة ثلاثية الأبعاد أخرى (مثل GaussianSplatting وBakeTextureToMesh)

    • مثال على الاستخدام:


    • نظام الإحداثيات:

      • السمت: في العرض العلوي، من الزاوية 0، قم بتدوير 360 درجة مع الخطوة -90 تحصل على (0، -90، -180/180، 90، 0)، في هذه الحالة تدور الكاميرا في اتجاه عقارب الساعة، والعكس صحيح.
      • الارتفاع: 0 عندما تشير الكاميرا أفقيًا إلى الأمام، والإشارة إلى الأرض هي زاوية سلبية، والعكس صحيح.

  • FlexiCubes : nv-tlabs/FlexiCubes

    • عمق العرض المتعدد والقناع (خرائط عادية اختيارية) كمدخلات
    • تصدير إلى شبكة ثلاثية الأبعاد
    • دليل الاستخدام:
      • voxel_grids_resolution : تحديد دقة/جودة الشبكة
      • Depth_min_distance Depth_max_distance : المسافة من الكائن إلى الكاميرا، سيتم عرض أجزاء الكائن في العرض الأقرب (الأبعد) إلى الكاميرا من العمق_min_distance (العمق_max_distance) بقيمة RGB بيضاء نقية (أسود) 1، 1، 1 (0، 0، 0)
      • Mask_loss_weight : التحكم في الصورة الظلية للشبكة ثلاثية الأبعاد المُعاد بناؤها
      • Deep_loss_weight : التحكم في شكل الشبكة ثلاثية الأبعاد المُعاد بناؤها، ستؤثر هذه الخسارة أيضًا على تفاصيل تشوه الشبكة على السطح، لذا تعتمد النتائج على جودة خريطة العمق
      • Normal_loss_weight : اختياري. يُستخدم لتحسين تفاصيل تشوه الشبكة على السطح
      • sdf_regularizer_weight : يساعد على إزالة العوائم في مناطق الشكل التي لا يشرف عليها هدف التطبيق، مثل الوجوه الداخلية عند استخدام الإشراف على الصور فقط
      • Remove_floaters_weight : يمكن زيادة هذا إذا لاحظت قطعًا أثرية في مناطق مسطحة
      • cube_stabilizer_weight : ليس لهذا تأثير كبير أثناء تحسين شكل واحد، ولكنه يساعد على استقرار التدريب في بعض الأحيان

    2024-04-12-16-21-24.mp4

  • NGP الفوري : nerfacc

    • متعدد عرض الصور كمدخلات
    • قم بالتصدير إلى شبكة ثلاثية الأبعاد باستخدام مكعبات المسيرة

  • رش غاوسي ثلاثي الأبعاد

    • تحسين التنقيط الغاوسي التفاضلي
    • طريقة تكثيف أفضل تعتمد على الضغط من Gsgen،
    • دعم تهيئة gaussians من شبكة ثلاثية الأبعاد معينة (اختياري)
    • دعم تحسين الدفعة الصغيرة
    • متعدد عرض الصور كمدخلات
    • التصدير إلى تنسيق 3DGS القياسي .ply مدعوم

  • العارض المداري الغاوسي

    • قم بعرض 3DGS على تسلسلات الصور أو الفيديو، مع توفير ملف 3DGS وأوضاع الكاميرا التي تم إنشاؤها بواسطة عقدة Stack Orbit Camera Poses

  • شبكة المدار العارض

    • عرض شبكة ثلاثية الأبعاد لتسلسلات الصور أو الفيديو، مع توفير ملف شبكي وأوضاع الكاميرا التي تم إنشاؤها بواسطة عقدة Stack Orbit Camera Poses

  • تركيب_شبكة_مع_صور_متعددة_العرض

    • قم بنسخ الصور متعددة العرض إلى نسيج UV لشبكة ثلاثية الأبعاد معينة باستخدام Nvdiffrast، ويدعم:
    • تصدير إلى .obj، .ply، .glb

  • حفظ وتحميل ملف ثلاثي الأبعاد

    • .obj، .ply، .glb للشبكة ثلاثية الأبعاد
    • .ply ل3DGS

  • محور التبديل لـ 3DGS و3D Mesh

    • نظرًا لأن الخوارزميات المختلفة من المحتمل أن تستخدم نظام إحداثيات مختلفًا، فإن القدرة على إعادة تعيين محور الإحداثيات أمر بالغ الأهمية لتمرير النتيجة الناتجة بين العقد المختلفة.

  • ملف تكوين النظام القابل للتخصيص

    • عنوان IP مخصص للعملاء
    • أضف رمز المستخدم المعانق الخاص بك

خريطة الطريق:

  • دمج CharacterGen

  • تحسين خوارزميات تحويل 3DGS/Nerf إلى Mesh:

    • ابحث عن طرق أفضل لتحويل 3DGS أو Points Cloud إلى Mesh (ربما إعادة إنشاء الخرائط العادية؟)

  • إضافة وتحسين عدد قليل من أفضل خوارزميات MVS (مثل 2DGS، وما إلى ذلك)

  • أضف تقديرًا لوضعية الكاميرا من الصور الخام متعددة المشاهدات

تطوير

كيفية المساهمة

  1. شوكة المشروع
  2. إجراء تحسينات/إضافة ميزات جديدة
  3. إنشاء طلب سحب إلى فرع التطوير

هيكل المشروع

  • العقدة.py :
    يحتوي على رمز الواجهة لجميع عقد Comfy3D (أي العقد التي يمكنك رؤيتها فعليًا واستخدامها داخل ComfyUI)، يمكنك إضافة العقد الجديدة هنا

  • وحدات Gen_3D :
    مجلد يحتوي على الكود الخاص بجميع النماذج/الأنظمة التوليدية (على سبيل المثال، نماذج الانتشار متعددة العرض، ونماذج إعادة البناء ثلاثية الأبعاد). ينبغي إضافة وحدات توليدية ثلاثية الأبعاد جديدة هنا

  • خوارزميات MVs :
    مجلد يحتوي على التعليمات البرمجية لجميع خوارزميات الاستريو متعددة العرض، أي الخوارزميات (مثل Gaussian Splatting وNeRF وFlexiCubes) التي تلتقط صورًا متعددة العرض وتحولها إلى تمثيل ثلاثي الأبعاد (مثل Gaussians أو MLP أو Mesh). يجب إضافة خوارزميات MVS الجديدة هنا

  • الويب :
    مجلد يحتوي على الملفات والتعليمات البرمجية (html وjs وcss) لجميع الأشياء المتعلقة بواجهة مستخدم المتصفح (مثل تخطيط html والنمط والمنطق الأساسي لمعاينة 3D Mesh & Gaussians). يجب إضافة واجهة مستخدم ويب جديدة هنا

  • خادم الويب :
    مجلد يحتوي على رمز التواصل مع المتصفح، أي التعامل مع طلبات عميل الويب (على سبيل المثال، إرسال شبكة ثلاثية الأبعاد إلى العميل عند الطلب باستخدام مسارات URL معينة). يجب إضافة الوظائف الجديدة المتعلقة بخادم الويب هنا

  • التكوينات :
    مجلد يحتوي على ملفات تكوين مختلفة لوحدات مختلفة، يجب إضافة تكوين جديد هنا، استخدم مجلدًا فرعيًا إذا كان هناك أكثر من تكوين لوحدة واحدة (على سبيل المثال، Unique3D، CRM)

  • نقاط التفتيش :
    مجلد يحتوي على جميع النماذج المدربة مسبقًا وبعض ملفات تكوين بنية النموذج المطلوبة من قبل الناشرين، ونقاط التحقق الجديدة إذا كان من الممكن تنزيلها تلقائيًا بواسطة عقدة Load_Diffusers Pipeline ، فيجب إضافتها هنا

  • تثبيت.py :
    البرنامج النصي للتثبيت الرئيسي، سيقوم بتنزيل الإصدارات المسبقة وتثبيتها تلقائيًا وفقًا لبيئة التشغيل الخاصة بك، إذا لم يتمكن من العثور على الإصدارات المسبقة المقابلة، فسيبدأ البرنامج النصي للإنشاء تلقائيًا، ويتم استدعاؤه بواسطة ComfyUI-Manager مباشرة بعد تثبيت التبعيات المدرجة في المتطلبات .txt باستخدام النقطة
    إذا كانت الوحدات الجديدة التي تحاول إضافتها تحتاج إلى بعض الحزم الإضافية التي لا يمكن إضافتها ببساطة إلى require.txt وbuild_config.remote_packages، فيمكنك محاولة إضافتها عن طريق تعديل هذا البرنامج النصي

  • _ما قبل_الإنشاءات :
    مجلد يحتوي على الملفات والتعليمات البرمجية لبناء جميع التبعيات المطلوبة، إذا كنت تريد إنشاء بعض التبعيات الإضافية مسبقًا، فيرجى التحقق من _Pre_Builds/README.md لمزيد من المعلومات

نصائح

  • OpenGL (Three.js, Blender) ونظام إحداثيات الكاميرا: 
        World            Camera        
  
    +y              up  target                                              
    |                |  /                                           
    |                | /                                           
    |______+x        |/______right                                      
    /                /         
   /                /          
  /                /           
+z               forward           

z-axis is pointing towards you and is coming out of the screen
elevation: in (-90, 90), from +y to +x is (-90, 0)
azimuth: in (-180, 180), from +z to +x is (0, 90)
  • إذا واجهت أخطاء OpenGL (على سبيل المثال، [F glutil.cpp:338] eglInitialize() failed )، فقم بتعيين force_cuda_rasterize على القيمة true على العقدة المقابلة
  • إذا تعطلت واجهة ComfyUI الخاصة بك عند البدء أو التشغيل بعد التثبيت، فيمكنك اتباع الإرشادات الموجودة في الرابط التالي لحل المشكلة: تعليق التعليمات البرمجية إلى أجل غير مسمى عند تقييم نماذج الخلايا العصبية على وحدة معالجة الرسومات

أنصار

  • MrNeRF
يوسع
معلومات إضافية
الإصدارات ذات الصلة
نوصي لك
أخبار ذات صلة الكل
تعليقات المستخدمين