SD3.5

انتشار مستقر 3.5

تطبيق مرجعي صغير للاستدلال فقط لـ SD3.5 وSD3 - كل ما تحتاجه للاستدلال البسيط باستخدام SD3.5/SD3، باستثناء ملفات الأوزان.

يحتوي على رمز لأجهزة تشفير النص (OpenAI CLIP-L/14، وOpenCLIP bigG، وGoogle T5-XXL) (هذه النماذج كلها عامة)، ووحدة فك ترميز VAE (على غرار نماذج SD السابقة، ولكن ذات 16 قناة ولا توجد خطوة لاحقة للتحويل الكمي)، والأساسية MM-DiT (جديدة تمامًا).

ملحوظة: هذا الريبو عبارة عن مكتبة مرجعية تهدف إلى مساعدة المنظمات الشريكة في تنفيذ SD3.5/SD3. للاستدلال البديل، استخدم مريح.

التحديثات

• 29 أكتوبر 2024: تم إصدار رمز الاستدلال لـ SD3.5-Medium.
• 24 أكتوبر 2024: تم تحديث ترخيص الكود إلى ترخيص MIT.
• 22 أكتوبر 2024: تم إصدار رمز الاستدلال لـ SD3.5-Large, Large-Turbo. يعمل أيضًا على SD3-Medium.

تحميل

قم بتنزيل النماذج التالية من HuggingFace إلى دليل models :

1. الاستقرار AI SD3.5 كبير أو الاستقرار AI SD3.5 كبير توربو أو الاستقرار AI SD3.5 متوسط
2. أوبن إيه آي كليب-L
3. OpenCLIP بيج جي
4. جوجل T5-XXL

يعمل هذا الرمز أيضًا مع Stability AI SD3 Medium.

ثَبَّتَ

 # Note: on windows use "python" not "python3"
python3 -s -m venv .sd3.5
source .sd3.5/bin/activate
# or on windows: venv/scripts/activate
python3 -s -m pip install -r requirements.txt

يجري

 # Generate a cat using SD3.5 Large model (at models/sd3.5_large.safetensors) with its default settings
python3 sd3_infer.py --prompt " cute wallpaper art of a cat "
# Or use a text file with a list of prompts, using SD3.5 Large
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large.safetensors
# Generate from prompt file using SD3.5 Large Turbo with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large_turbo.safetensors
# Generate from prompt file using SD3.5 Medium with its default settings, at 2k resolution
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --width 1920 --height 1080
# Generate from prompt file using SD3 Medium with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3_medium.safetensors

سيتم إخراج الصور إلى outputs//__ بشكل افتراضي. لإضافة postfix إلى دليل الإخراج، أضف --postfix . على سبيل المثال،

python3 sd3_infer.py --prompt path/to/my_prompts.txt --postfix " steps100 " --steps 100

لتغيير دقة الصورة التي تم إنشاؤها، أضف --width --height .

اختياريًا، استخدم Skip Layer Guidance للحصول على هيكل أفضل وتماسك تشريحي من SD3.5-Medium.

python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --skip_layer_cfg True

دليل الملف

• sd3_infer.py - نقطة الدخول، قم بمراجعتها للتعرف على الاستخدام الأساسي لنموذج الانتشار
• sd3_impls.py - يحتوي على الغلاف المحيط بـ MMDiTX وVAE
• other_impls.py - يحتوي على نماذج CLIP ونموذج T5 وبعض الأدوات المساعدة
• mmditx.py - يحتوي على جوهر MMDiT-X نفسه
• models المجلدات التي تحتوي على الملفات التالية (قم بالتنزيل بشكل منفصل):
  • clip_l.safetensors (يمكن لـ OpenAI CLIP-L، مثل SDXL/SD3، الحصول على نسخة عامة)
  • clip_g.safetensors (يمكن لبرنامج openclip bigG، مثل SDXL/SD3، الحصول على نسخة عامة)
  • t5xxl.safetensors (google T5-v1.1-XXL، يمكنه الحصول على نسخة عامة)
  • sd3.5_large.safetensors أو sd3.5_large_turbo.safetensors أو sd3.5_medium.safetensors (أو sd3_medium.safetensors )

أصل الكود

الكود المتضمن هنا ينشأ من:

• مستودع كود البحث الداخلي للذكاء الاصطناعي (MM-DiT)
• مستودعات الذكاء الاصطناعي للاستقرار العام (مثل VAE)
• بعض التعليمات البرمجية الفريدة لهذا الريبو المرجعي كتبها Alex Goodwin وVikram Voleti لـ Stability AI
• بعض التعليمات البرمجية من تنفيذ الاستقرار الداخلي ComfyUI لـ SD3 (لبعض تصحيحات التعليمات البرمجية والمعالجات)
• HuggingFace وموفرو المنبع (لأقسام كود CLIP/T5)

قانوني

تحقق من ملف LICENSE-CODE.

ملحوظة

بعض التعليمات البرمجية في other_impls تنشأ من HuggingFace وتخضع لترخيص HuggingFace Transformers Apache2