sd3.5

การแพร่กระจายที่เสถียร 3.5

การใช้งานอ้างอิงขนาดเล็กเพื่อการอนุมานเท่านั้นของ SD3.5 และ SD3 - ทุกสิ่งที่คุณต้องการสำหรับการอนุมานอย่างง่ายโดยใช้ SD3.5/SD3 ไม่รวมไฟล์น้ำหนัก

ประกอบด้วยโค้ดสำหรับตัวเข้ารหัสข้อความ (OpenAI CLIP-L/14, OpenCLIP bigG, Google T5-XXL) (โมเดลเหล่านี้เป็นแบบสาธารณะทั้งหมด), ตัวถอดรหัส VAE (คล้ายกับรุ่น SD ก่อนหน้า แต่มี 16 ช่องสัญญาณและไม่มีขั้นตอน postquantconv) และแกน MM-DiT (ใหม่ทั้งหมด)

หมายเหตุ: repo นี้เป็นไลบรารีอ้างอิงที่มีไว้เพื่อช่วยองค์กรพันธมิตรในการปรับใช้ SD3.5/SD3 สำหรับการอนุมานอื่น ให้ใช้ Comfy

อัพเดท

• 29 ต.ค. 2024 : เปิดตัวโค้ดการอนุมานสำหรับ SD3.5-Medium
• 24 ต.ค. 2024 : อัปเดตใบอนุญาตรหัสเป็นใบอนุญาต MIT
• 22 ต.ค. 2024 : เปิดตัวโค้ดการอนุมานสำหรับ SD3.5-Large, Large-Turbo ยังใช้งานได้กับ SD3-Medium

ดาวน์โหลด

ดาวน์โหลดโมเดลต่อไปนี้จาก HuggingFace ลงในไดเร็กทอรี models :

1. ความเสถียร AI SD3.5 ใหญ่ หรือ ความเสถียร AI SD3.5 เทอร์โบขนาดใหญ่ หรือ ความเสถียร AI SD3.5 ปานกลาง
2. OpenAI CLIP-L
3. OpenCLIP bigG
4. กูเกิล T5-XXL

รหัสนี้ยังใช้ได้กับ Stability AI SD3 Medium อีกด้วย

ติดตั้ง

 # Note: on windows use "python" not "python3"
python3 -s -m venv .sd3.5
source .sd3.5/bin/activate
# or on windows: venv/scripts/activate
python3 -s -m pip install -r requirements.txt

วิ่ง

 # Generate a cat using SD3.5 Large model (at models/sd3.5_large.safetensors) with its default settings
python3 sd3_infer.py --prompt " cute wallpaper art of a cat "
# Or use a text file with a list of prompts, using SD3.5 Large
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large.safetensors
# Generate from prompt file using SD3.5 Large Turbo with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large_turbo.safetensors
# Generate from prompt file using SD3.5 Medium with its default settings, at 2k resolution
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --width 1920 --height 1080
# Generate from prompt file using SD3 Medium with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3_medium.safetensors

รูปภาพจะถูกส่งออกไปยัง outputs/<MODEL>/<PROMPT>_<DATETIME>_<POSTFIX> ตามค่าเริ่มต้น หากต้องการเพิ่ม postfix ไปยังไดเร็กทอรีเอาต์พุต ให้เพิ่ม --postfix <my_postfix> ตัวอย่างเช่น,

python3 sd3_infer.py --prompt path/to/my_prompts.txt --postfix " steps100 " --steps 100

หากต้องการเปลี่ยนความละเอียดของรูปภาพที่สร้างขึ้น ให้เพิ่ม --width <WIDTH> --height <HEIGHT>

เลือกใช้ Skip Layer Guidance เพื่อให้ได้โครงสร้างและกายวิภาคที่สอดคล้องกันที่ดีขึ้นจาก SD3.5-Medium

python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --skip_layer_cfg True

คู่มือไฟล์

• sd3_infer.py - จุดเริ่มต้น ตรวจสอบสิ่งนี้สำหรับการใช้งานพื้นฐานของโมเดลการแพร่กระจาย
• sd3_impls.py - มี wrapper ล้อมรอบ MMDiTX และ VAE
• other_impls.py - มีรุ่น CLIP, รุ่น T5 และยูทิลิตี้บางอย่าง
• mmditx.py - มีแกนหลักของ MMDiT-X เอง
• models ที่มีไฟล์ดังต่อไปนี้ (ดาวน์โหลดแยกต่างหาก):
  • clip_l.safetensors (OpenAI CLIP-L เช่นเดียวกับ SDXL/SD3 สามารถดึงสำเนาสาธารณะได้)
  • clip_g.safetensors (openclip bigG เช่นเดียวกับ SDXL/SD3 สามารถคว้าสำเนาสาธารณะได้)
  • t5xxl.safetensors (google T5-v1.1-XXL สามารถคว้าสำเนาสาธารณะได้)
  • sd3.5_large.safetensors หรือ sd3.5_large_turbo.safetensors หรือ sd3.5_medium.safetensors (หรือ sd3_medium.safetensors )

ที่มาของรหัส

รหัสที่รวมอยู่ที่นี่มาจาก:

• ที่เก็บรหัสการวิจัยภายในความเสถียรของ AI (MM-DiT)
• ที่เก็บ AI ความเสถียรสาธารณะ (เช่น VAE)
• โค้ดเฉพาะบางส่วนสำหรับ repo อ้างอิงนี้เขียนโดย Alex Goodwin และ Vikram Voleti สำหรับ Stability AI
• โค้ดบางส่วนจากการใช้เสถียรภาพภายใน ComfyUI ของ SD3 (สำหรับการแก้ไขและตัวจัดการโค้ดบางตัว)
• HuggingFace และผู้ให้บริการอัปสตรีม (สำหรับส่วนของรหัส CLIP/T5)

ถูกกฎหมาย

ตรวจสอบไฟล์รหัสใบอนุญาต

บันทึก

โค้ดบางส่วนใน other_impls มาจาก HuggingFace และอยู่ภายใต้ HuggingFace Transformers Apache2 License