pano corretivo simplificado

Crie um assistente RAG corretivo simplificado com Amazon Bedrock

Visão geral

O Amazon Bedrock é um serviço totalmente gerenciado que disponibiliza modelos básicos (FMs) de alto desempenho das principais startups de IA e da Amazon para seu uso por meio de uma API unificada. Você pode escolher entre uma ampla variedade de modelos de fundação para encontrar o modelo mais adequado ao seu caso de uso. O Amazon Bedrock também oferece um amplo conjunto de recursos para criar aplicativos generativos de IA com segurança, privacidade e IA responsável. Usando o Amazon Bedrock, você pode experimentar e avaliar facilmente os principais modelos básicos para seus casos de uso, personalizá-los de forma privada com seus dados usando técnicas como ajuste fino e geração aumentada de recuperação (RAG) e criar agentes que executam tarefas usando seus sistemas corporativos e fontes de dados.

Os Grandes Modelos de Linguagem (LLMs) inevitavelmente exibem alucinações, uma vez que a precisão dos textos gerados não pode ser garantida apenas pelo conhecimento paramétrico que eles encapsulam. Embora a Geração Aumentada de Recuperação (RAG) seja um complemento viável aos LLMs, ela depende fortemente da relevância dos documentos recuperados, levantando preocupações sobre como o modelo se comporta se a recuperação der errado.

Técnicas avançadas de RAG, como RAG Corretivo, foram propostas para melhorar a robustez da geração. No CRAG, um avaliador de recuperação leve é ​​projetado para avaliar a qualidade geral dos documentos recuperados para uma consulta, retornando um grau de confiança com base no qual diferentes ações de recuperação de conhecimento podem ser acionadas. Como a recuperação de corpora estáticos e limitados só pode retornar documentos abaixo do ideal, pesquisas na Web em larga escala são utilizadas como uma extensão para aumentar os resultados da recuperação. CRAG é plug-and-play e pode ser perfeitamente acoplado a várias abordagens baseadas em RAG.

Este repositório contém código que irá orientá-lo no processo de construção de um assistente simplificado baseado em CRAG. Cobriremos dois cenários para a fase de recuperação:

1. (Cenário 1) Um documento que corresponde à consulta especificada está localizado na Base de Conhecimento.
2. (Cenário 2) Um documento que corresponda à consulta especificada não está localizado na Base de Conhecimento. Como resultado, uma pesquisa na web será realizada para recuperar o(s) documento(s) correspondente(s).

Para começar

1. Escolha uma conta AWS para usar e certifique-se de criar todos os recursos nessa conta.
2. Identifique uma região da AWS que tenha Amazon Bedrock com Anthropic Claude 3 e Titan Embeddings G1 - modelos de texto.
3. Nessa região, copie o arquivo a seguir para um bucket novo ou existente do Amazon S3 de sua escolha. Certifique-se de que esse bucket possa ser lido pelo AWS CloudFormation.
   • wikipedia_search_bedrock_agent.zip
4. Crie o arquivo da camada Lambda denominado py312_opensearch-py_requests_and_requests-aws4auth.zip usando o procedimento a seguir e carregue-o no mesmo bucket do Amazon S3 da etapa 3.
   • No Windows 10 ou superior:
     1. Certifique-se de que Python 3.12 e pip estejam instalados e definidos na variável PATH do usuário.
     2. Baixe o 7-zip e instale-o em C:/Program Files/7-Zip/ .
     3. Abra o prompt de comando do Windows.
     4. Crie um novo diretório e cd nele.
     5. Execute lambda_layer_file_create.bat de dentro desse diretório.
     6. Isso criará o arquivo da camada Lambda denominado py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • No Linux:
     1. Certifique-se de que Python 3.12 e pip estejam instalados e definidos na variável PATH do usuário.
     2. Abra o prompt de comando do Linux.
     3. Crie um novo diretório e cd nele.
     4. Execute lambda_layer_file_create.sh de dentro desse diretório.
     5. Isso criará o arquivo da camada Lambda denominado py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Pegue o modelo AWS CloudFormation fornecido simplificado-corretivo-rag-cfn.yaml e atualize o seguinte parâmetro,
   • DeploymentArtifactsS3BucketName – defina como o nome do bucket do Amazon S3 da etapa 3.
6. Crie uma pilha do AWS CloudFormation com o modelo atualizado.
7. Abra o notebook Jupyter denominado simplificado-corrective-rag.ipynb navegando até o console de instâncias do notebook Amazon SageMaker e clicando no link Abrir Jupyter na instância denominada simplificada-crag-instance .

Estrutura do repositório

• Uma pasta de ativos que contém o modelo do AWS CloudFormation e os artefatos dependentes.
• O código Python para uma função AWS Lambda que será invocada pelo Bedrock Agent para realizar a pesquisa na web. Isso também é compactado neste arquivo como um artefato dependente.
• Uma pasta de notebooks que contém todos os artefatos relacionados ao notebook Jupyter no qual você trabalhará.

Segurança

Consulte CONTRIBUINDO para obter mais informações.

Licença

Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo LICENÇA.