stack retrieval augmented generation
v2.1.0
A arquitetura implementável a seguir automatiza a implementação de um padrão de geração de amostra do AI no IBM Cloud, incluindo toda a infraestrutura subjacente do IBM Cloud e do WatsonX. Esta arquitetura implementa as melhores práticas para implementação do watsonx gen AI Pattern no IBM Cloud, conforme descrito na arquitetura de referência.
Essa arquitetura implantável fornece uma base abrangente para confiança, observabilidade, segurança e conformidade regulatória. A arquitetura configura uma conta do IBM Cloud para se alinhar às configurações de conformidade. Ele também implanta serviços de gerenciamento de chaves e de segredos e a infraestrutura para suportar pipelines de integração contínua (CI), entrega contínua (CD) e conformidade contínua (CC) para gerenciamento seguro do ciclo de vida do aplicativo. Ele também implementa o conjunto de serviços WatsonX e o IBM Cloud Elasticsearch para facilitar um padrão RAG. Esses pipelines facilitam a implementação do aplicativo, verificam vulnerabilidades e auditabilidade e ajudam a garantir uma implementação segura e confiável de aplicativos generativos de IA na IBM Cloud.
Duas variações estão disponíveis para esta arquitetura implementável:
Variação básica:
Variação padrão:
Essa arquitetura implementável foi projetada para demonstrar uma implementação totalmente automatizada de um aplicativo de geração aumentada de recuperação por meio de projetos do IBM Cloud. Ele fornece uma base flexível e customizável para seus próprios aplicativos watsonx no IBM Cloud. Essa arquitetura implanta o aplicativo de amostra a seguir por padrão.
Ao usar essa arquitetura, você pode acelerar sua implantação e adaptá-la para atender às suas necessidades e objetivos empresariais.
Essa arquitetura pode ajudá-lo a atingir os seguintes objetivos:
Antes de implementar a arquitetura implementável, certifique-se de concluir as ações a seguir:
Importante
Você deve usar uma chave de API associada a um usuário. Não é possível usar chaves de ID de serviço ou perfis confiáveis.
Copie o valor da chave API. Você precisará disso nas etapas a seguir.
Em ambientes de teste ou avaliação, você pode conceder a função de Administrador nos seguintes serviços
User API key creator , pois ela é obrigatória para uma implementação bem-sucedida do cluster OpenShift.Para que o acesso ao escopo seja mais restritivo para um ambiente de produção, consulte o nível mínimo de permissão na guia de permissão desta arquitetura implantável.
gpg --gen-key sem uma senha (se não expirar, você pode usar uma chave gerada anteriormente).gpg --export-secret-key <email address> | base64 . Para obter mais informações sobre como armazenar a chave, consulte Gerando uma chave GPG.Adicione um nome e uma descrição.
Selecione uma região e um grupo de recursos para o projeto. Por exemplo, para fins de avaliação, é possível selecionar a região mais próxima de você e o grupo de recursos padrão.
Para obter mais informações sobre as estruturas de contas corporativas, consulte o white paper da conta da administração central.
Insira um nome de configuração. Por exemplo, "RAG", "dev" ou "prod". O nome pode ajudá-lo posteriormente a corresponder ao seu destino de implantação.
Agora você pode criar sua configuração definindo variáveis.
No painel Segurança , selecione o método de autenticação que deseja usar para implementar sua arquitetura.
Adicione a chave de API dos pré-requisitos em Antes de começar.
Na guia Segurança > Autenticação na seção Configurar , selecione a chave API.
Insira valores para os campos obrigatórios na guia Obrigatório .
Revise os valores dos campos opcionais na guia Opcional :
signing_key dos pré-requisitos em Antes de começar.Clique em Salvar . Após a validação dos valores de entrada, o botão muda para Visualizar configurações da pilha .
É possível implementar uma arquitetura implementável empilhada por meio do console da IBM Cloud de duas maneiras:
Usando a implantação automática : o método de implantação pode ser útil para ambientes de demonstração e de não produção. Com a implantação automática, todas as configurações dos membros da pilha são validadas e depois aprovadas e implantadas.
Você pode verificar a configuração de implantação automática do seu projeto clicando em Gerenciar > Configurações . Ao ativar a implantação automática, você habilita a configuração para todas as configurações do projeto.
Individualmente, implantando cada configuração de membro. O método manual é apropriado para projetos que possuem ambientes de produção. Você pode revisar as alterações em cada configuração de membro antes da execução da automação.
Dica
Depois de aprovar a configuração, você poderá receber a mensagem de erro "Não é possível validar sua configuração". Para resolver o problema, atualize seu navegador.
Você poderá ver notificações de "Nova versão disponível" na coluna Atenção necessária na configuração do seu projeto. Você pode ignorar essas mensagens porque elas não impedem a implementação da pilha.
Clique no ícone Opções próximo a Exibir configurações de pilha e clique em Validar .
Se a configuração de implantação automática estiver desativada em seu projeto, somente as configurações de membros que estiverem prontas serão validadas.
No seu projeto, clique na guia Configurações .
Se a configuração do primeiro membro da pilha ( Account Infrastructure Base ) não estiver marcada como Pronto para validar , atualize a página em seu navegador.
Clique em Validar no status Rascunho na linha Account Infrastructure Base .
Aprove a configuração e clique em Implementar após a validação ser concluída com sucesso.
Depois de implementar a configuração do membro inicial, você poderá validar e implementar a configuração do membro restante ao mesmo tempo. Repita essas etapas de implantação para cada configuração de membro na arquitetura.
A arquitetura implantável do Retrieval Augmented Generation Pattern agora está implantada na conta de destino.
Depois que a arquitetura for implementada, o aplicativo de amostra será iniciado no serviço DevOps recém-provisionado.
Para monitorar a construção e implantação do aplicativo, siga estas etapas:
resource_group_name da arquitetura implementável.Workload - Sample RAG App Configuration .Outputs , a URL do aplicativo implementado está listada na saída sample_app_public_url . Para minimizar custos, a automação implanta um plano de preços de avaliação do Secrets Manager. É possível criar apenas uma instância de avaliação do Secrets Manager. É possível implantar uma instância do plano Padrão do Secrets Manager nas configurações Opcionais da pilha.
Para corrigir isso, exclua a instância de teste. Após a exclusão, exclua também o serviço do estado de recuperação.
Na IBM Cloud, quando você exclui um recurso, ele não desaparece imediatamente. Em vez disso, ele entra em um estado de recuperação, onde permanece por um curto período (geralmente 7 dias) antes de ser excluído permanentemente. Durante o estado de recuperação, é possível recuperar o recurso, se necessário.
Execute os seguintes comandos da CLI do IBM Cloud para excluir o serviço do estado de recuperação.
O primeiro comando lista todos os recursos no estado de recuperação.
# List all the resources in reclamation state with its reclamation ID
ibmcloud resource reclamationsEncontre o ID de recuperação do serviço Secrets Manager. Use esse ID no comando a seguir.
ibmcloud resource reclamation-delete < reclamation-id >Esse problema específico pode ocorrer quando a implantação do ALM/concha de ferramentas tiver mais de 14 dias e o DA de configuração do aplicativo tiver sido desimplantado/reimplantado. Isso ocorre porque o serviço Continuous Delivery é necessário para criar e excluir propriedades do pipeline, e a implantação ocorre quando o serviço CD pode não existir. Estamos trabalhando em uma solução de longo prazo para esse bug, mas enquanto isso ele pode ser mitigado garantindo a existência de um serviço de CD no grupo de recursos onde se espera que as cadeias de ferramentas sejam criadas.
O problema ocorrerá na arquitetura implantável Workload - Sample RAG App Configuration , nas variações Code Engine e OCP. O erro normalmente conterá esta mensagem:
"errors": [
{
"code": 403,
"message": "Continuous Delivery service required"
}
]
Muitas personalizações são possíveis com esta arquitetura. Estas são algumas opções comuns.
Cada configuração de membro inclui um grande número de parâmetros de entrada. Você pode editar a configuração para alterar os valores padrão.
Por exemplo, editando a configuração do membro, você pode realizar o seguinte:
Para editar a configuração do membro, selecione Editar no ícone Opções na linha de configuração do membro.
Você pode remover da pilha uma configuração de membro da qual outras configurações não dependem.
Você pode remover as seguintes configurações nesta arquitetura:
Para remover uma configuração de membro, selecione Remover da pilha no ícone Opções na linha de configuração de membro.
Você pode adicionar ou remover variáveis de entrada e saída no nível da pilha seguindo estas etapas:
Você pode provisionar seletivamente recursos de observabilidade, como rotas e destinos do Activity Tracker e instâncias do Cloud Monitoring seguindo estas etapas:
cloud_logs_provision ): configure para provisionar ou ignorar o fornecimento de uma instância do IBM Cloud Logs.cloud_monitoring_provision ): configure para provisionar ou ignorar o provisionamento de uma instância de monitoramento da IBM Cloud.enable_at_event_routing_to_cos_bucket ): configure para ativar ou desativar o roteamento de eventos do Activity Tracker para o bucket do Object Storage.enable_at_event_routing_to_cloud_logs ): defina para ativar ou desativar o roteamento de eventos do Activity Tracker para Cloud Logs.Depois de modificar sua arquitetura implementável em projetos, será possível compartilhá-la com outras pessoas por meio de um catálogo privado da IBM Cloud. Para partilhar a sua arquitetura implementável, siga os passos em Partilhar a sua arquitetura implementável na sua empresa.
Você pode usar o código deste exemplo de automação como um guia para personalizar o aplicativo de exemplo para atender aos seus requisitos. O código está disponível em https://github.com/terraform-ibm-modules/terraform-ibm-rag-sample-da.
Para usar seu próprio app, remova a configuração do membro Workload - Sample RAG App Configuration da pilha. Essa configuração de membro é específica do aplicativo de amostra padrão.
Limpe a configuração
Esta etapa é opcional se você planeja destruir todos os recursos do Watson. Os artefatos criados pelo aplicativo são excluídos como parte da remoção da implementação dos recursos do Watson.
Siga as etapas descritas no arquivo cleanup.md para remover a configuração do aplicativo de amostra.
Excluir recursos criados pela cadeia de ferramentas de CI
Os recursos a seguir, criados pela cadeia de ferramentas, não são destruídos como parte da remoção da implantação da pilha no Project.
Exclua o projeto.
Para remover a implementação da infraestrutura criada pela arquitetura implementável, siga as etapas em Excluindo um projeto na documentação do IBM Cloud.
