comfyui on amazon sagemaker

ComfyUI บน Amazon SageMaker

โปรเจ็กต์นี้สาธิตวิธีสร้างอิมเมจโดยใช้ Stable Diffusion โดยการโฮสต์ ComfyUI บน Amazon SageMaker Inference เป็นรูปแบบการออกแบบที่ช่วยเพิ่มความสามารถในการสร้างภาพ GenAI ให้กับแอปพลิเคชันของคุณ

ComfyUI เป็นหนึ่งใน GUI และแบ็กเอนด์ยอดนิยมที่ช่วยให้คุณสามารถสร้างภาพโดยใช้ Stable Diffusion คุณสมบัติที่สำคัญบางประการ:

• รองรับเวิร์กโฟลว์การสร้างภาพที่ซับซ้อนโดยใช้ GUI โดยไม่จำเป็นต้องเขียนโค้ดอะไรเลย
• รองรับการแพร่กระจายที่เสถียร - SD1.x, SD2.x, SDXL, SDXL Turbo และ SD3
• รองรับรุ่น Flux.1 จาก Black Forest Labs
• สามารถโหลดรุ่น ckpt, safetensors และ diffusers ได้
• รองรับการฝัง, Hypernetworks, โมเดล LCM, Loras, Hires fix

ด้วยการโฮสต์ ComfyUI โดยใช้ Amazon SageMaker Inference จะเหมาะสมอย่างยิ่งเมื่อคุณต้องการ:

• โมเดลโฮสต์ด้วยตนเองและเก็บข้อมูลทั้งหมดของคุณไว้ในบัญชี AWS และภูมิภาคของคุณ
• รวมข้อความเป็นรูปภาพหรือรูปภาพเป็นรูปภาพในแอปพลิเคชันของคุณโดยใช้ Stable Diffusion แต่ไม่มีการเข้ารหัสบน PyTorch (เพียงรวมรูปแบบนี้เข้ากับแอปพลิเคชันของคุณ)
• ใช้โมเดลที่ล้ำสมัย (จุดตรวจ, การฝัง, ไฮเปอร์เน็ตเวิร์ก, LoRA, Controlnet) จากชุมชน เช่น Hugging Face หรือ Civitai โดยไม่ต้องเขียนโค้ดใดๆ
• ใช้บริการที่มีการจัดการเต็มรูปแบบโดยไม่ต้องดูแลการตั้งค่าและการจัดการอินสแตนซ์ ความเข้ากันได้ของเวอร์ชันซอฟต์แวร์ และเวอร์ชันการแพตช์
• ใช้การปรับขนาดอัตโนมัติเพื่อปิดอินสแตนซ์เมื่อไม่มีการใช้งานเพื่อป้องกันความจุที่ไม่ได้ใช้งานและลดต้นทุนการอนุมาน

สถาปัตยกรรม

มีฟังก์ชัน Lambda เพื่อเรียกใช้จุดสิ้นสุดการอนุมานของ SageMaker (ซึ่งใช้ ComfyUI) เพื่อสร้างรูปภาพ เพื่อเป็นตัวอย่าง URL ฟังก์ชัน Lambda ได้รับการกำหนดค่าเพื่อให้คุณสามารถทดสอบการสร้างอิมเมจได้โดยการเรียกไปยังตำแหน่งข้อมูล HTTPS เฉพาะนี้

คู่มือการปรับใช้

สภาพแวดล้อม

วิธีที่ง่ายที่สุดคือการเปิดใช้ EC2 instance ของ g5.xlarge ที่ใช้งาน AMI Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.3.0 (Amazon Linux 2) เชื่อมต่อกับอินสแตนซ์โดยใช้ Session Manager จากนั้นเพิ่มผู้ใช้ไปยังกลุ่ม docker โดยเรียกใช้คำสั่งต่อไปนี้

sudo usermod -a -G docker $( whoami )

ตัดการเชื่อมต่อและเชื่อมต่ออีกครั้งเพื่อให้การเป็นสมาชิกกลุ่มที่อัปเดตมีผล

• หากคุณไม่ได้เรียกใช้ ComfyUI ภายในเครื่อง อินสแตนซ์ที่ไม่ใช่ GPU เช่น t3.small ก็ใช้งานได้เช่นกัน
• หากคุณต้องการรันรุ่น FLUX.1 ให้ใช้อย่างน้อย g5.2xlarge หรือสูงกว่าสำหรับเวอร์ชัน fp8 ใช้อย่างน้อย g5.4xlarge สำหรับเวอร์ชัน fp16

AWS Cloud9 หรือเครื่องท้องถิ่นก็ใช้งานได้เช่นกัน แต่ต้องแน่ใจว่าได้ติดตั้งสิ่งต่อไปนี้อย่างถูกต้อง

• ออว์สคลี
• นักเทียบท่า
• หมู

หมายเหตุ: Apple M1/M2/M3 ไม่ทำงาน เนื่องจากยังไม่รองรับโครงสร้างข้ามสถาปัตยกรรมของคอนเทนเนอร์ คุณต้องสร้างบน x86_64 ที่ตรงกับตำแหน่งข้อมูล SageMaker

เริ่มต้นอย่างรวดเร็ว

ขั้นตอนที่ 1 - โคลนโครงการ:

git clone https://github.com/aws-samples/comfyui-on-amazon-sagemaker.git

ขั้นตอนที่ 2 - ปรับแต่งไฟล์ต่อไปนี้ (ไม่บังคับ):

• Deploy.sh - การกำหนดค่าการปรับใช้
• model/build.sh - โมเดลที่จะรวม (ดาวน์โหลด SDXL 1.0 เป็นค่าเริ่มต้น)
• lambda/workflow/ - โฟลเดอร์ api เวิร์กโฟลว์สำหรับ ComfyUI

FLUX.1 - หากคุณต้องการลองใช้รุ่น FLUX.1:

• ไม่แสดงความคิดเห็นที่นี่หรือที่นี่เพื่อดาวน์โหลดโมเดล
• อัปเดตที่นี่เพื่อเปลี่ยน SAGEMAKER_INSTANCE_TYPE เป็นอย่างน้อย ml.g5.2xlarge
• ใช้ไฟล์พร้อมท์ที่เกี่ยวข้อง flux1-dev-fp8-ckpt.json หรือ flux1-schnell-fp8-ckpt.json ในคำขอ API

ขั้นตอนที่ 3 - เรียกใช้ Deploy.sh โดยปกติจะใช้เวลาไม่ถึงหนึ่งชั่วโมงจึงจะเสร็จสมบูรณ์

./deploy.sh

HTTPS Endpoint สำหรับการทดสอบ

เพื่อเป็นตัวอย่าง เราได้เปิดใช้งาน URL ฟังก์ชัน Lambda เพื่อให้คุณสามารถทดสอบการสร้างอิมเมจได้โดยการเรียกไปยังตำแหน่งข้อมูล HTTPS เฉพาะนี้ URL ปลายทางสามารถพบได้ที่ ComfyUIFunctionUrl จากเอาต์พุตสแต็ก

การรับรองความถูกต้อง AWS_IAM ได้รับการกำหนดค่าตามค่าเริ่มต้นสำหรับการเรียกใช้ URL ฟังก์ชัน lambda ดังนั้นคุณต้องลงนามคำขอ HTTP แต่ละรายการโดยใช้ AWS Signature เวอร์ชัน 4 (SigV4) เครื่องมือต่างๆ เช่น awscurl, Postman และ AWS SigV4 Proxy นำเสนอวิธีในตัวในการลงนามคำขอของคุณด้วย SigV4 คุณสามารถปิดใช้งานการตรวจสอบสิทธิ์ได้โดยการตั้งค่า LAMBDA_URL_AUTH_TYPE เป็น NONE ใน Deploy.sh แต่อาจเป็นอันตรายได้เนื่องจาก URL ของฟังก์ชันนั้นเปิดให้ทุกคนเข้าถึงได้

ตัวอย่างการอนุญาตลายเซ็น AWS โดยใช้บุรุษไปรษณีย์:

และนี่คือตัวอย่างเนื้อหาคำขอ:

{
  "positive_prompt" : " hill happy dog " ,
  "negative_prompt" : " hill " ,
  "prompt_file" : " workflow_api.json " ,
  "seed" : 11245
}

การร้องขอที่ประสบความสำเร็จเมื่อเห็นภาพที่สร้างขึ้น:

ทำความสะอาด

ลบทรัพยากรต่อไปนี้ที่ปรับใช้โดย Deploy.sh

1. สแต็ก CloudFormation (ค่าเริ่มต้น: comfyui )
2. ที่เก็บข้อมูล S3 (ค่าเริ่มต้น: comfyui-sagemaker-<AWS_ACCOUNT_ID>-<AWS_REGION> )
3. พื้นที่เก็บข้อมูล ECR (ค่าเริ่มต้น: comfyui-sagemaker )

คู่มือการพัฒนา

ดูการพัฒนา

ความปลอดภัย

ดูการมีส่วนร่วมสำหรับข้อมูลเพิ่มเติม

ใบอนุญาต

ห้องสมุดนี้ได้รับอนุญาตภายใต้ใบอนุญาต MIT-0 ดูไฟล์ใบอนุญาต