building qa app with aws bedrock kendra s3 and streamlit

Introducción

Este repositorio contiene un ejemplo práctico sobre cómo crear una aplicación de preguntas y respuestas capaz de responder preguntas relacionadas con sus documentos privados utilizando los servicios GenAI AWS.

Anteriormente, creé una aplicación de preguntas y respuestas usando Azure OpenAI GPT-4 y Pinecone (puede encontrarla aquí) .
En este repositorio crearé exactamente la misma aplicación pero usando solo servicios de AWS (+ Streamlit para la interfaz de usuario).

Para ser más precisos, la aplicación tiene la siguiente arquitectura:

Y utiliza las siguientes tecnologías:

• Base de AWS
• AWSKendra
• AWS S3
• iluminado

Contenido

Este repositorio contiene la siguiente aplicación:

• Una aplicación Streamlit , que nos permite consultar los datos almacenados en AWS Kendra utilizando uno de los modelos disponibles de AWS Bedrock LLM.

Cómo funciona la aplicación Preguntas y respuestas

• Los documentos privados se almacenan en un depósito s3.

• El Kendra Index está configurado para utilizar un conector s3. El índice comprueba el depósito s3 cada N minutos en busca de contenido nuevo. Si se encuentra contenido nuevo en el depósito, se analiza y almacena automáticamente en la base de datos de Kendra.

• Cuando un usuario ejecuta una consulta a través de la aplicación Streamlit , la aplicación sigue estos pasos:

  • Recupere la información relevante para la consulta dada de Kendra.
  • Ensambla el mensaje.
  • Envía el mensaje a uno de los Bedrock LLM disponibles y recibe la respuesta.

cuadernos jupyter

• Si en lugar de utilizar la aplicación Streamlit prefieres ejecutar paso a paso las instrucciones para configurar el patrón RAG, tienes un cuaderno Jupyter ( /notebooks/rag-with-langchain.ipynb ) que precisamente te permitirá hacer esto.

• La aplicación Streamlit hace un uso intensivo de la biblioteca LangChain para implementar el patrón RAG. Si prefiere no utilizar bibliotecas de terceros y configurar el patrón RAG únicamente con la biblioteca boto3 , tiene un segundo cuaderno Jupyter ( /notebooks/rag-with-only-boto3.ipynb ) que le permitirá hacer esto. .

Infraestructura de AWS

En la carpeta /infra , encontrará una serie de archivos Terraform que crearán todos los servicios de AWS necesarios para el correcto funcionamiento de la aplicación.

Estos archivos Terraform crearán los siguientes recursos:

• Un depósito s3 para albergar nuestros documentos privados.
• Un índice Kendra con conector s3.
• Un rol de IAM con los permisos necesarios para que todo funcione.

Requisitos previos

Hay algunos requisitos previos que debe conocer antes de intentar ejecutar la aplicación.

LLM de terceros de AWS Bedrock

• De forma predeterminada, en Bedrock solo tendrá acceso a Amazon Titan LLM. Para utilizar cualquiera de los LLM de terceros (modelos LLM de Anthropic y AI21 Labs), debe registrarse para acceder por separado.

En la sección "Acceso al modelo", tiene una descripción general de a qué LLM tiene acceso y a cuáles no.

Para utilizar esta aplicación por completo, debe tener acceso a todos los LLM de terceros de AWS Bedrock .

credenciales de boto3

• Dentro de la aplicación, boto3 está configurado para recuperar las credenciales de AWS del perfil default del archivo de configuración de AWS en su máquina local.
  Siéntase libre de ajustar esta configuración para alinearla con sus preferencias, ya sea que implique utilizar variables de entorno, pasar credenciales como parámetros o emplear otros métodos adecuados.

Para obtener una descripción general de los múltiples enfoques para configurar las credenciales boto3 , vaya al siguiente enlace:

• https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

Cómo ejecutar la aplicación

Antes de intentar ejecutar la aplicación, lea la sección Infraestructura de AWS y Requisitos previos .

Ejecute la aplicación localmente

Establecer las variables de entorno requeridas

El repositorio tiene un archivo .env que contiene las variables de entorno que la aplicación requiere para ejecutarse correctamente:

 KENDRA_INDEX='<kendra-index>'
AWS_BEDROCK_REGION='<bedrock-region>'
AWS_KENDRA_REGION='<region-where-kendra-index-is-deployed>'

Cambie los valores en consecuencia.

Restaurar dependencias

pip install -r requirements.txt

Ejecute la aplicación

Cuando instala Streamlit , también se instala una herramienta de línea de comandos (CLI). El propósito de esta herramienta es ejecutar aplicaciones Streamlit .
Para ejecutar la aplicación, simplemente ejecute el siguiente comando:

streamlit run app.py

Ejecute la aplicación usando Docker

Este repositorio tiene un Dockerfile en caso de que prefieras ejecutar la aplicación en un contenedor.

construir la imagen

docker build -t aws-rag-app .

ejecutarlo

 docker run -p 5050:5050 
        -e KENDRA_INDEX="<kendra-index>" 
        -e AWS_BEDROCK_REGION="<bedrock-region>" 
        -e AWS_KENDRA_REGION="<region-where-kendra-index-is-deploy>" 
        -e AWS_ACCESS_KEY_ID="<aws-access-key>" 
        -e AWS_SECRET_ACCESS_KEY="<aws-secret-access-key>" 
        aws-rag-app

Producción

Registro de cambios

02/10/2023

• app.py actualizado para que sea compatible con los últimos cambios de Bedrock.
• Se actualizaron los Jupyter Notebooks para hacerlos compatibles con los últimos cambios de Bedrock.
• Se eliminaron las limas de rueda boto3 y botocore3 . Un boto3 compatible con Bedrock finalmente está disponible públicamente.