comfyui on amazon sagemaker

Amazon SageMaker の ComfyUI

このプロジェクトでは、Amazon SageMaker Inference で ComfyUI をホストすることにより、安定した拡散を使用して画像を生成する方法を示します。これは、GenAI イメージ生成機能をアプリケーションに追加できるようにする設計パターンです。

ComfyUI は、安定した拡散を使用して画像を生成できる最も人気のある GUI およびバックエンドの 1 つです。主な機能の一部:

• コーディングを必要とせずに、GUI を使用して複雑な画像生成ワークフローをサポートします
• 安定した拡散をサポート - SD1.x、SD2.x、SDXL、SDXL Turbo、SD3
• Black Forest Labs の Flux.1 モデルをサポート
• ckpt、セーフテンサー、ディフューザー モデルをロードできます
• 埋め込み、ハイパーネットワーク、LCM モデル、Loras、Hires 修正をサポート

Amazon SageMaker Inference を使用して ComfyUI をホストすると、次のような場合に特に適しています。

• セルフホストモデルで、すべてのデータを AWS アカウントとリージョン内に保持します。
• Stable Diffusion を使用してテキストから画像へ、または画像から画像へアプリケーションに統合しますが、PyTorch でのコーディングは必要ありません (このパターンをアプリケーションに統合するだけです)
• Hugging Face や Civitai などのコミュニティからの最先端のモデル (チェックポイント、エンベディング、ハイパーネットワーク、LoRA、Controlnet) をコーディングなしで使用できます。
• インスタンスのセットアップと管理、ソフトウェア バージョンの互換性、バージョンのパッチ適用に気を配ることなく、フルマネージド サービスを利用できます。
• アイドル状態の容量を防ぎ、推論コストを削減するために、自動スケーリングを使用してインスタンスをシャットダウンします。

建築

画像を生成するために SageMaker 推論エンドポイント (ComfyUI を実行している) を呼び出す Lambda 関数があります。たとえば、Lambda 関数の URL は、この専用の HTTPS エンドポイントを呼び出してイメージ生成をテストできるように構成されています。

導入ガイド

環境

最も簡単な方法は、AMI Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.3.0 (Amazon Linux 2)実行するg5.xlargeの EC2 インスタンスを起動することです。 Session Manager を使用してインスタンスに接続し、次のコマンドを実行してユーザーをグループdockerに追加します。

sudo usermod -a -G docker $( whoami )

更新されたグループ メンバーシップを有効にするには、切断してから再度接続します。

• ComfyUI をローカルで実行しない場合は、 t3.smallなどの非 GPU インスタンスも機能します。
• FLUX.1 モデルを実行する場合は、fp8 バージョンのg5.2xlarge以上を使用してください。 fp16 バージョンには少なくともg5.4xlarge使用してください。

AWS Cloud9 またはローカル マシンも動作しますが、以下が適切にインストールされていることを確認してください。

• awscli
• ドッカー
• 豚

注:コンテナのクロスアーキテクチャ ビルドがまだサポートされていないため、Apple M1/M2/M3 は動作しません。 SageMaker エンドポイントと一致する x86_64 上にビルドする必要があります。

クイックスタート

ステップ 1 - プロジェクトのクローンを作成します。

git clone https://github.com/aws-samples/comfyui-on-amazon-sagemaker.git

ステップ 2 - 次のファイルをカスタマイズします (オプション):

• deploy.sh - デプロイメント構成
• model/build.sh - 含めるモデル (デフォルトでは SDXL 1.0 がダウンロードされます)
• lambda/workflow/ - ComfyUI のワークフロー API フォルダー

FLUX.1 - FLUX.1 モデルを試したい場合:

• モデルをダウンロードするには、ここまたはここでコメントを解除してください。
• ここを更新してSAGEMAKER_INSTANCE_TYPE少なくともml.g5.2xlargeに変更します。
• API リクエストで、対応するプロンプト ファイルflux1-dev-fp8-ckpt.jsonまたはflux1-schnell-fp8-ckpt.jsonを使用します。

ステップ 3 - デプロイ.sh を実行します。通常、完了までに 1 時間もかかりません。

./deploy.sh

テスト用のHTTPSエンドポイント

たとえば、Lambda 関数の URL が有効になっているため、この専用の HTTPS エンドポイントを呼び出してイメージ生成をテストできます。エンドポイント URL は、スタック出力のComfyUIFunctionUrlで見つかります。

AWS_IAM認証はデフォルトでラムダ関数 URL を呼び出すように設定されているため、AWS 署名バージョン 4 (SigV4) を使用して各 HTTP リクエストに署名する必要があります。 awscurl、Postman、AWS SigV4 プロキシなどのツールは、SigV4 でリクエストに署名するための組み込みの方法を提供します。 deploy.sh でLAMBDA_URL_AUTH_TYPE NONEに設定することで認証を無効にすることもできますが、関数 URL が誰にでも公開されるため危険です。

Postman を使用した AWS Signature 認証の例:

リクエスト本文の例は次のとおりです。

{
  "positive_prompt" : " hill happy dog " ,
  "negative_prompt" : " hill " ,
  "prompt_file" : " workflow_api.json " ,
  "seed" : 11245
}

呼び出しが成功すると、イメージが生成されます。

掃除

deploy.shでデプロイされた以下のリソースを削除します。

1. CloudFormation スタック (デフォルト: comfyui )
2. S3 バケット (デフォルト: comfyui-sagemaker-<AWS_ACCOUNT_ID>-<AWS_REGION> )
3. ECR リポジトリ (デフォルト: comfyui-sagemaker )

開発ガイド

「開発」を参照

安全

詳細については、「貢献」を参照してください。

ライセンス

このライブラリは、MIT-0 ライセンスに基づいてライセンスされています。 LICENSE ファイルを参照してください。