comfyui on amazon sagemaker

ComfyUI no Amazon SageMaker

Este projeto demonstra como gerar imagens usando Stable Diffusion hospedando o ComfyUI no Amazon SageMaker Inference. É um padrão de design que permite adicionar capacidade de geração de imagens GenAI à sua aplicação.

ComfyUI é uma das GUI e back-end mais populares que permite gerar imagens usando Stable Diffusion. Alguns dos principais recursos:

• suporta fluxos de trabalho complexos de geração de imagens usando GUI sem a necessidade de codificar nada
• suporta difusão estável - SD1.x, SD2.x, SDXL, SDXL Turbo e SD3
• suporta modelos Flux.1 do Black Forest Labs
• pode carregar modelos ckpt, safetensors e difusores
• suporta Embeddings, Hypernetworks, Modelos LCM, Loras, Hires fix

Ao hospedar o ComfyUI usando o Amazon SageMaker Inference, ele pode ser particularmente adequado quando você deseja:

• modelos de auto-hospedagem e mantenha todos os seus dados em sua conta e região da AWS
• integre texto para imagem ou imagem para imagem em seu aplicativo usando Stable Diffusion, mas sem codificação no PyTorch (basta integrar esse padrão em seu aplicativo)
• use modelos de última geração (pontos de verificação, embeddings, hiperrede, LoRA, Controlnet) da comunidade, como Hugging Face ou Civitai, mas sem qualquer codificação
• fazer uso de um serviço totalmente gerenciado sem se preocupar com a configuração e o gerenciamento de instâncias, compatibilidades de versões de software e correções de versões
• use o escalonamento automático para encerrar instâncias quando não houver uso para evitar capacidade ociosa e reduzir o custo de inferência

Arquitetura

Existe uma função Lambda para invocar o endpoint de inferência do SageMaker (que está executando o ComfyUI) para gerar imagens. Por exemplo, o URL da função Lambda é configurado para que você possa testar a geração da imagem chamando esse endpoint HTTPS dedicado.

Guia de implantação

Ambientes

A maneira mais fácil é iniciar uma instância EC2 de g5.xlarge executando AMI Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.3.0 (Amazon Linux 2) . Conecte-se à instância usando Session Manager e adicione o usuário ao grupo docker executando o seguinte comando.

sudo usermod -a -G docker $( whoami )

Desconecte-se e conecte-se novamente para que a adesão ao grupo atualizada tenha efeito.

• Se você não executar o ComfyUI localmente, instâncias não GPU, como t3.small também funcionarão.
• Se você deseja executar o modelo FLUX.1, use pelo menos g5.2xlarge ou superior para a versão fp8. use pelo menos g5.4xlarge para a versão fp16.

AWS Cloud9 ou máquina local também funcionam, mas certifique-se de que os itens a seguir estejam instalados corretamente.

• awscli
• Docker
• porcoz

Observações: Apple M1/M2/M3 não está funcionando porque a construção de contêiner entre arquiteturas ainda não é suportada. Você deve construir em x86_64 que corresponda ao endpoint do SageMaker.

Início rápido

Passo 1 – Clone o projeto:

git clone https://github.com/aws-samples/comfyui-on-amazon-sagemaker.git

Passo 2 - Personalize os seguintes arquivos (opcional):

• deploy.sh - configurações de implantação
• model/build.sh - modelos a serem incluídos (SDXL 1.0 é baixado por padrão)
• lambda/workflow/ - pasta de API de fluxo de trabalho para ComfyUI

FLUX.1 - Se você quiser experimentar os modelos FLUX.1:

• descomente aqui ou aqui para baixar os modelos.
• atualize aqui para alterar SAGEMAKER_INSTANCE_TYPE para pelo menos ml.g5.2xlarge .
• use o arquivo de prompt correspondente flux1-dev-fp8-ckpt.json ou flux1-schnell-fp8-ckpt.json na solicitação da API.

Etapa 3 – Execute o deploy.sh. Geralmente leva menos de uma hora para ser concluído.

./deploy.sh

Endpoint HTTPS para teste

Por exemplo, o URL da função Lambda está habilitado para que você possa testar a geração de imagem chamando esse endpoint HTTPS dedicado. O URL do endpoint pode ser encontrado em ComfyUIFunctionUrl na saída da pilha.

A autenticação AWS_IAM é configurada por padrão para invocar o URL da função lambda, portanto, você deve assinar cada solicitação HTTP usando o AWS Signature versão 4 (SigV4). Ferramentas como awscurl, Postman e AWS SigV4 Proxy oferecem maneiras integradas de assinar suas solicitações com SigV4. Você pode desativar a autenticação definindo LAMBDA_URL_AUTH_TYPE como NONE em deploy.sh, mas é perigoso porque o URL da função está aberto a todos.

Exemplo de autorização do AWS Signature usando Postman:

E aqui está um exemplo de corpo de solicitação:

{
  "positive_prompt" : " hill happy dog " ,
  "negative_prompt" : " hill " ,
  "prompt_file" : " workflow_api.json " ,
  "seed" : 11245
}

Uma invocação bem-sucedida vendo a imagem gerada:

Limpar

Exclua os seguintes recursos implementados por deploy.sh.

1. Pilha CloudFormation (padrão: comfyui )
2. Balde S3 (padrão: comfyui-sagemaker-<AWS_ACCOUNT_ID>-<AWS_REGION> )
3. Repositório ECR (padrão: comfyui-sagemaker )

Guia de Desenvolvimento

Veja DESENVOLVIMENTO

Segurança

Consulte CONTRIBUINDO para obter mais informações.

Licença

Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo LICENÇA.