comfyui on amazon sagemaker

ComfyUI auf Amazon SageMaker

Dieses Projekt zeigt, wie man Bilder mithilfe von Stable Diffusion generiert, indem ComfyUI auf Amazon SageMaker Inference gehostet wird. Es handelt sich um ein Entwurfsmuster, das das Hinzufügen von GenAI-Bildgenerierungsfunktionen zu Ihrer Anwendung ermöglicht.

ComfyUI ist eine der beliebtesten GUIs und Backends, mit der Sie Bilder mithilfe von Stable Diffusion generieren können. Einige der wichtigsten Funktionen:

• unterstützt komplexe Arbeitsabläufe zur Bildgenerierung über die grafische Benutzeroberfläche, ohne dass etwas programmiert werden muss
• unterstützt stabile Diffusion – SD1.x, SD2.x, SDXL, SDXL Turbo und SD3
• unterstützt Flux.1-Modelle von Black Forest Labs
• Kann CKPT-, Safetensor- und Diffusor-Modelle laden
• Unterstützt Einbettungen, Hypernetzwerke, LCM-Modelle, Loras und Hires Fix

Durch das Hosten von ComfyUI mit Amazon SageMaker Inference kann es besonders geeignet sein, wenn Sie Folgendes möchten:

• Nutzen Sie Self-Host-Modelle und bewahren Sie alle Ihre Daten innerhalb Ihres AWS-Kontos und Ihrer AWS-Region auf
• Integrieren Sie Text-zu-Bild oder Bild-zu-Bild in Ihre Anwendung mit Stable Diffusion, aber ohne Codierung auf PyTorch (integrieren Sie einfach dieses Muster in Ihre Anwendung).
• Nutzen Sie modernste Modelle (Checkpoints, Embeddings, Hypernetwork, LoRA, Controlnet) aus der Community, wie Hugging Face oder Civitai, jedoch ohne jegliche Codierung
• Nutzen Sie den vollständig verwalteten Service, ohne sich um die Einrichtung und Verwaltung von Instanzen, Softwareversionskompatibilitäten und Patchversionen kümmern zu müssen
• Verwenden Sie die automatische Skalierung, um Instanzen herunterzufahren, wenn keine Nutzung vorhanden ist, um ungenutzte Kapazität zu verhindern und die Inferenzkosten zu senken

Architektur

Es gibt eine Lambda-Funktion zum Aufrufen des SageMaker-Inferenzendpunkts (auf dem ComfyUI ausgeführt wird) zum Generieren von Bildern. Zur Veranschaulichung ist die Lambda-Funktions-URL so konfiguriert, dass Sie die Bildgenerierung testen können, indem Sie diesen dedizierten HTTPS-Endpunkt aufrufen.

Bereitstellungshandbuch

Umgebungen

Der einfachste Weg besteht darin, eine EC2-Instanz von g5.xlarge zu starten, auf der AMI Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.3.0 (Amazon Linux 2) ausgeführt wird. Stellen Sie mit Session Manager eine Verbindung zur Instanz her und fügen Sie dann den Benutzer zum Gruppen- docker hinzu, indem Sie den folgenden Befehl ausführen.

sudo usermod -a -G docker $( whoami )

Trennen Sie die Verbindung und stellen Sie erneut eine Verbindung her, damit die aktualisierte Gruppenmitgliedschaft wirksam wird.

• Wenn Sie ComfyUI nicht lokal ausführen, funktionieren auch Nicht-GPU-Instanzen wie t3.small .
• Wenn Sie das FLUX.1-Modell ausführen möchten, verwenden Sie mindestens g5.2xlarge oder höher für die fp8-Version. Verwenden Sie mindestens g5.4xlarge für die fp16-Version.

AWS Cloud9 oder ein lokaler Computer funktionieren ebenfalls, stellen Sie jedoch sicher, dass Folgendes ordnungsgemäß installiert ist.

• awscli
• Docker
• Schweinchen

Hinweise: Apple M1/M2/M3 funktioniert nicht, da die architekturübergreifende Erstellung von Containern noch nicht unterstützt wird. Sie müssen auf x86_64 aufbauen, das dem SageMaker-Endpunkt entspricht.

Schnellstart

Schritt 1 – Projekt klonen:

git clone https://github.com/aws-samples/comfyui-on-amazon-sagemaker.git

Schritt 2 – Passen Sie die folgenden Dateien an (optional):

• Deploy.sh – Bereitstellungskonfigurationen
• model/build.sh – einzubindende Modelle (SDXL 1.0 wird standardmäßig heruntergeladen)
• lambda/workflow/ – Workflow-API-Ordner für ComfyUI

FLUX.1 - Wenn Sie FLUX.1-Modelle ausprobieren möchten:

• Kommentieren Sie hier oder hier, um die Modelle herunterzuladen.
• Aktualisieren Sie hier, um SAGEMAKER_INSTANCE_TYPE auf mindestens ml.g5.2xlarge zu ändern.
• Verwenden Sie in der API-Anfrage die entsprechende Eingabeaufforderungsdatei flux1-dev-fp8-ckpt.json “ oder flux1-schnell-fp8-ckpt.json .

Schritt 3 – Führen Sie „deploy.sh“ aus. Die Fertigstellung dauert in der Regel weniger als eine Stunde.

./deploy.sh

HTTPS-Endpunkt zum Testen

Zur Veranschaulichung ist die Lambda-Funktions-URL aktiviert, sodass Sie die Bildgenerierung testen können, indem Sie diesen dedizierten HTTPS-Endpunkt aufrufen. Die Endpunkt-URL finden Sie unter ComfyUIFunctionUrl in der Stack-Ausgabe.

AWS_IAM Authentifizierung ist standardmäßig für den Aufruf der Lambda-Funktions-URL konfiguriert, daher müssen Sie jede HTTP-Anfrage mit AWS Signature Version 4 (SigV4) signieren. Tools wie awscurl, Postman und AWS SigV4 Proxy bieten integrierte Möglichkeiten zum Signieren Ihrer Anfragen mit SigV4. Sie können die Authentifizierung deaktivieren, indem Sie LAMBDA_URL_AUTH_TYPE in „deploy.sh“ auf NONE setzen. Dies ist jedoch gefährlich, da die Funktions-URL für alle zugänglich ist.

Beispiel einer AWS-Signaturautorisierung mit Postman:

Und hier ist ein Beispiel für einen Anfragetext:

{
  "positive_prompt" : " hill happy dog " ,
  "negative_prompt" : " hill " ,
  "prompt_file" : " workflow_api.json " ,
  "seed" : 11245
}

Ein erfolgreicher Aufruf, bei dem das generierte Bild angezeigt wird:

Aufräumen

Löschen Sie die folgenden von „deploy.sh“ bereitgestellten Ressourcen.

1. CloudFormation-Stack (Standard: comfyui )
2. S3-Bucket (Standard: comfyui-sagemaker-<AWS_ACCOUNT_ID>-<AWS_REGION> )
3. ECR-Repository (Standard: comfyui-sagemaker )

Entwicklungshandbuch

Siehe ENTWICKLUNG

Sicherheit

Weitere Informationen finden Sie unter BEITRAGEN.

Lizenz

Diese Bibliothek ist unter der MIT-0-Lizenz lizenziert. Siehe die LICENSE-Datei.