orientação para gerar descrições de produtos com Amazon Bedrock

Gerando descrições de produtos com Bedrock

Esta solução contém um back-end sem servidor e um aplicativo front-end ReactJS que cria descrições de produtos a partir de imagens e entrada de texto, aprimora e traduz descrições de produtos usando o novo serviço gerenciado de IA generativa, Amazon Bedrock.

Índice

1. Visão geral
   • Custo
2. Pré-requisitos
3. Etapas de implantação
4. Validação de implantação
5. Executando a orientação
6. Próximas etapas
7. Limpar
8. Considerações e limitações adicionais

Visão geral

As empresas de varejo geralmente têm milhares ou milhões de produtos, todos os quais exigem descrições precisas e eficazes. Os varejistas geralmente possuem metadados ou imagens desses produtos que podem ser fornecidos como entradas para modelos generativos de IA para acelerar significativamente o processo de criação de descrições de produtos.

1. O cliente envia uma solicitação incluindo dados de entrada (uma imagem do produto ou uma descrição básica do produto para aprimorar) para a API REST do Amazon API Gateway.
2. O Amazon API Gateway passa a solicitação ao AWS Lambda por meio de uma integração de proxy.
3. Ao operar em entradas de imagens de produtos, o AWS Lambda chama o Amazon Rekognition, que usa machine learning para detectar objetos na imagem. As descrições dos objetos detectados podem então ser inseridas nas etapas subsequentes para criar uma descrição do produto.
4. O AWS Lambda chama modelos de linguagem grandes (LLMs) hospedados pelo Amazon Bedrock, como os modelos de linguagem Amazon Titan, para produzir descrições de produtos. Os LLMs podem aprimorar descrições de texto básicas existentes ou gerar novas descrições com base nos objetos detectados pelo Amazon Rekognition.
5. AWS Lambda transmite a resposta ao Amazon API Gateway.
6. Por fim, o Amazon API Gateway retorna a resposta HTTP ao cliente.

Custo

Você é responsável pelo custo dos serviços da AWS usados ​​durante a execução deste Guia. Em novembro de 2023, o custo para executar este Guia com as configurações padrão no Leste dos EUA (Norte da Virgínia) era de aproximadamente US$ 86 por mês para o processamento de 1.000 produtos por mês.

Esta orientação inclui os serviços AWS Rekognition, Bedrock, Cognito, Lambda, API Gateway e CloudWatch com os seguintes custos:

• Reconhecimento: US$ 0,001 por imagem (para o primeiro milhão de imagens)
• Base: Depende do modelo. Claude Instant, por exemplo, custa US$ 0,00163 por 1.000 tokens de entrada e US$ 0,00551 por 1.000 tokens de saída, e o modelo AI21 Jurassic custa US$ 0,0125 por 1.000 tokens de entrada/saída
• Cognito: gratuito para até 50 mil usuários (a partir de então, US$ 0,0055 por usuário ativo mensal)
• API Gateway: US$ 3,50 por milhão de solicitações
• Lambda: US$ 0,0000166667 por GB segundo ou US$ 0,0005 por invocação para esta orientação, assumindo uma duração de 30 segundos no pior caso
• Logs do CloudWatch: US$ 0,50 por GB coletado, US$ 0,03 por mês por GB armazenado

Conservadoramente (errando por superestimar), usando esta solução para gerar descrições de produtos com base em imagens de entrada 1000 vezes por mês (incluindo a geração de traduções para espanhol, alemão e francês) e assumindo um pior caso de 30s por invocação de função Lambda e 1000 tokens de entrada/saída para todas as chamadas para os modelos Claude Instant e Jurassic, os custos seriam aproximadamente os seguintes:

• Reconhecimento: US$ 0,001 por imagem * 1.000 imagens = US$ 1,00
• Bedrock: $ 0,00163 + $ 0,00551 por chamada para Claude Instant * 1.000 chamadas = $ 7,14 e $ 0,0125 * 2 por chamada para Jurassic * 1.000 chamadas * 3 idiomas = $ 75
• Cognito: Gratuito
• Gateway de API: US$ 3,50 por milhão de invocações * 5.000 invocações no total = US$ 0,0175
• Lambda: US$ 0,0005 por invocação * 5.000 invocações totais = US$ 2,50
• Logs do CloudWatch: suponha conservadoramente 1 GB coletado, custando aproximadamente US$ 0,53 no primeiro mês
• TOTAL: US$ 86 por mês com 1.000 usos por mês (ou apenas US$ 11 por mês se as traduções estiverem desativadas)

Pré-requisitos

Você precisará instalar todos os pré-requisitos em sua máquina local:

1. Python 3.8 ou superior
2. Node.js e npm
3. Instale o AWS CDK Toolkit (o comando cdk ) conforme documentado aqui. Você também precisará executar cdk bootstrap se ainda não tiver usado o CDK em sua conta, conforme discutido aqui.
4. A CLI da AWS
5. Docker é necessário para permitir que o CDK empacote o código Lambda junto com as dependências Python necessárias
6. O projeto deve funcionar em qualquer ambiente macOS, Linux ou Windows com os pré-requisitos acima, mas o projeto foi testado em macOS e Linux. Alguns comandos e scripts utilitários assumem um ambiente shell Bash.
7. O Claude Instant, Stable Diffusion SDXL0.8 e AI21 Jurassic-2 Mid devem ser habilitados no Bedrock conforme documentado aqui

NOTA: O Docker deve estar instalado e em execução . Você pode garantir que o daemon do Docker esteja em execução garantindo que um comando como docker ps seja executado sem erros. Se nenhum contêiner estiver em execução, docker ps deverá retornar uma lista vazia de contêineres como esta:

 CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES

Etapas de implantação

1. Crie um ambiente EC2 no AWS Cloud9, execute a instância EC2 em uma sub-rede pública e anote seu endereço IPv4 público (#cloud9_ec2_ip).

2. Redimensione o volume do EBS que o ambiente (criado na Etapa 1) usa para pelo menos 20 GB. Ele vem com 10 GB para t2.micro por padrão.

3. Clone o repositório:

    git clone https://github.com/aws-solutions-library-samples/guidance-for-generating-product-descriptions-with-bedrock.git
   

4. cd para a pasta do repositório:

    cd guidance-for-generating-product-descriptions-with-bedrock
   

5. (Opcional) crie um novo virtualenv Python para dependências específicas do projeto:

    python -m venv .env && source .env/bin/activate
   

6. Instale as dependências do CDK:

    pip install -r deployment/requirements.txt
   

7. Bootstrapping para AWS CDK, caso ainda não tenha sido feito:

    cd deployment && cdk bootstrap
   

8. Implante o back-end:

    cd deployment && cdk deploy
   

9. cd de volta para a raiz do projeto:

    cd ..
   

10. Crie um usuário inicial do Cognito:

     deployment/create-user.sh <>
    

11. Atualize config.js com os valores apropriados das saídas da pilha CDK. Isso pode ser feito automaticamente executando

     deployment/update-config.sh
    

12. Instale dependências de front-end:

     cd source/frontend && npm install
    

13. Execute o aplicativo cliente de amostra e anote o número da porta (#web_port) que o webpack escuta, por exemplo. 8080.

     npm start
    

14. Abra os grupos de segurança do EC2 criados na Etapa 1, adicione uma regra de entrada, que permite TCP personalizado, intervalo de portas #web_port, fonte “Meu IP” e, em seguida, salvar regras.

Validação de implantação

A implantação deverá ser bem-sucedida se todos os comandos acima forem concluídos sem erros. Você pode navegar pelos recursos de back-end criados navegando até o serviço CloudFormation no Console AWS, encontrando a pilha chamada LambdaStack e navegando em seus recursos.

Executando a orientação

Você pode experimentar o aplicativo da web de demonstração seguindo estas etapas:

1. Verifique seu e-mail em busca de uma senha temporária
2. Acesse o aplicativo em um navegador local em #cloud9_public_ip:#web_port
3. Siga as instruções para fazer login e alterar sua senha
4. Para criar uma descrição de produto a partir de uma imagem (o modo padrão), procure um arquivo de imagem para algum produto ou objeto
5. Uma vez carregado, será gerada uma descrição do produto e traduções em vários idiomas

Próximas etapas

Consulte a página do produto Bedrock para obter mais recursos sobre como usar o Amazon Bedrock.

Limpar

A infraestrutura provisionada pode ser excluída executando o seguinte comando:

 cd deployment && cdk destroy

Considerações e limitações adicionais

• Como este projeto transmite imagens codificadas em base64 para funções do Lambda por meio da carga útil do evento, o tamanho total da entrada é limitado a 6 MB, o que limita o tamanho das imagens de entrada.
• A integração do proxy Lambda e API Gateway limita o tempo de processamento a 29 segundos por chamada, o que pode impedir a geração de descrições de produtos maiores. Essa limitação poderia ser superada usando abordagens alternativas, como streaming de respostas por meio de URLs de função Lambda em vez de API Gateway.