trapo correctivo simplificado

Cree un asistente RAG correctivo simplificado con Amazon Bedrock

Descripción general

Amazon Bedrock es un servicio totalmente administrado que hace que los modelos básicos (FM) de alto rendimiento de las principales empresas emergentes de IA y Amazon estén disponibles para su uso a través de una API unificada. Puede elegir entre una amplia gama de modelos de cimientos para encontrar el modelo que mejor se adapte a su caso de uso. Amazon Bedrock también ofrece un amplio conjunto de capacidades para crear aplicaciones de IA generativa con seguridad, privacidad e IA responsable. Con Amazon Bedrock, puede experimentar y evaluar fácilmente los mejores modelos básicos para sus casos de uso, personalizarlos de forma privada con sus datos utilizando técnicas como el ajuste fino y la generación aumentada de recuperación (RAG), y crear agentes que ejecuten tareas utilizando sus sistemas empresariales. y fuentes de datos.

Los modelos de lenguaje grande (LLM) inevitablemente presentan alucinaciones, ya que la precisión de los textos generados no puede garantizarse únicamente mediante el conocimiento paramétrico que encapsulan. Aunque la generación aumentada de recuperación (RAG) es un complemento viable de los LLM, depende en gran medida de la relevancia de los documentos recuperados, lo que genera preocupaciones sobre cómo se comporta el modelo si la recuperación sale mal.

Se propusieron técnicas RAG avanzadas como el RAG correctivo para mejorar la robustez de la generación. En CRAG, un evaluador de recuperación liviano está diseñado para evaluar la calidad general de los documentos recuperados para una consulta, devolviendo un grado de confianza basado en el cual se pueden desencadenar diferentes acciones de recuperación de conocimiento. Dado que la recuperación de corpus estáticos y limitados sólo puede arrojar documentos subóptimos, las búsquedas web a gran escala se utilizan como una extensión para aumentar los resultados de la recuperación. CRAG es plug-and-play y puede combinarse perfectamente con varios enfoques basados ​​en RAG.

Este repositorio contiene código que lo guiará a través del proceso de creación de un asistente simplificado basado en CRAG. Cubriremos dos escenarios para la fase de recuperación:

1. (Escenario 1) Un documento que coincide estrechamente con la consulta especificada se encuentra en la base de conocimientos.
2. (Escenario 2) Un documento que coincide estrechamente con la consulta especificada no se encuentra en la base de conocimientos. Como resultado, se realizará una búsqueda en la web para recuperar los documentos coincidentes.

Para empezar

1. Elija una cuenta de AWS para usar y asegúrese de crear todos los recursos en esa cuenta.
2. Identifique una región de AWS que tenga Amazon Bedrock con Anthropic Claude 3 y Titan Embeddings G1: modelos de texto.
3. En esa región, copie el siguiente archivo en un depósito de Amazon S3 nuevo o existente de su elección. Asegúrese de que AWS CloudFormation pueda leer este depósito.
   • wikipedia_search_bedrock_agent.zip
4. Cree el archivo de capa Lambda denominado py312_opensearch-py_requests_and_requests-aws4auth.zip mediante el siguiente procedimiento y cárguelo en el mismo depósito de Amazon S3 que en el paso 3.
   • En Windows 10 o superior:
     1. Asegúrese de que Python 3.12 y pip estén instalados y configurados en la variable PATH del usuario.
     2. Descargue 7-zip e instálelo en C:/Program Files/7-Zip/ .
     3. Abra el símbolo del sistema de Windows.
     4. Cree un nuevo directorio y cd en él.
     5. Ejecute lambda_layer_file_create.bat desde dentro de ese directorio.
     6. Esto creará el archivo de capa Lambda llamado py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • En Linux:
     1. Asegúrese de que Python 3.12 y pip estén instalados y configurados en la variable PATH del usuario.
     2. Abra el símbolo del sistema de Linux.
     3. Cree un nuevo directorio y cd en él.
     4. Ejecute lambda_layer_file_create.sh desde dentro de ese directorio.
     5. Esto creará el archivo de capa Lambda llamado py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Tome la plantilla de AWS CloudFormation proporcionada simplified-corrective-rag-cfn.yaml y actualice el siguiente parámetro:
   • DeploymentArtifactsS3BucketName : configúrelo con el nombre del depósito de Amazon S3 del paso 3.
6. Cree una pila de AWS CloudFormation con la plantilla actualizada.
7. Abra el cuaderno de Jupyter denominado simplified-corrective-rag.ipynb navegando a la consola de instancias del cuaderno de Amazon SageMaker y haciendo clic en el enlace Abrir Jupyter en la instancia denominada simplified-crag-instance .

Estructura del repositorio

• Una carpeta de activos que contiene la plantilla de AWS CloudFormation y los artefactos dependientes.
• El código Python para una función AWS Lambda que será invocada por Bedrock Agent para realizar la búsqueda web. Esto también está comprimido en este archivo como un artefacto dependiente.
• Una carpeta de cuadernos que contiene todos los artefactos relacionados con el cuaderno de Jupyter en el que trabajará.

Seguridad

Consulte CONTRIBUCIÓN para obtener más información.

Licencia

Esta biblioteca tiene la licencia MIT-0. Ver el archivo de LICENCIA.