stack retrieval augmented generation
v2.1.0
La siguiente arquitectura implementable automatiza la implementación de un patrón de IA de generación de muestra en IBM Cloud, incluida toda la infraestructura subyacente de IBM Cloud y WatsonX. Esta arquitectura implementa las mejores prácticas para la implementación del patrón AI de generación watsonx en IBM Cloud, como se describe en la arquitectura de referencia.
Esta arquitectura implementable proporciona una base integral para la confianza, la observabilidad, la seguridad y el cumplimiento normativo. La arquitectura configura una cuenta de IBM Cloud para alinearse con la configuración de cumplimiento. También implementa servicios de administración de claves y de secretos y la infraestructura para respaldar canales de integración continua (CI), entrega continua (CD) y cumplimiento continuo (CC) para una administración segura del ciclo de vida de la aplicación. También implementa la suite de servicios WatsonX e IBM Cloud Elasticsearch para facilitar un patrón RAG. Estos canales facilitan la implementación de la aplicación, verifican las vulnerabilidades y la auditabilidad y ayudan a garantizar una implementación segura y confiable de aplicaciones de IA generativa en IBM Cloud.
Hay dos variaciones disponibles para esta arquitectura implementable:
Variación básica:
Variación estándar:
Esta arquitectura implementable está diseñada para mostrar una implementación totalmente automatizada de una aplicación de recuperación de generación aumentada a través de IBM Cloud Projects. Proporciona una base flexible y personalizable para sus propias aplicaciones Watsonx en IBM Cloud. Esta arquitectura implementa la siguiente aplicación de ejemplo de forma predeterminada.
Al utilizar esta arquitectura, puede acelerar su implementación y adaptarla para satisfacer sus necesidades comerciales y objetivos empresariales.
Esta arquitectura puede ayudarle a lograr los siguientes objetivos:
Antes de implementar la arquitectura implementable, asegúrese de completar las siguientes acciones:
Importante
Debe utilizar una clave API asociada a un usuario. No puede utilizar claves de identificación de servicio ni perfiles confiables.
Copie el valor de la clave API. Lo necesitas en los siguientes pasos.
En entornos de prueba o evaluación, puede otorgar el rol de Administrador en los siguientes servicios
User API key creator , ya que es obligatoria para una implementación exitosa del clúster OpenShift.Para que el acceso sea más restrictivo para un entorno de producción, consulte el nivel de permiso mínimo en la pestaña de permisos de esta arquitectura implementable.
gpg --gen-key sin una frase de contraseña (si no está vencida, puede usar una clave generada previamente).gpg --export-secret-key <email address> | base64 . Para obtener más información sobre cómo almacenar la clave, consulte Generación de una clave GPG.Añade un nombre y una descripción.
Seleccione una región y un grupo de recursos para el proyecto. Por ejemplo, para fines de evaluación, puede seleccionar la región más cercana a usted y el grupo de recursos predeterminado.
Para obtener más información sobre las estructuras de cuentas empresariales, consulte el documento técnico sobre cuentas de administración central.
Introduzca un nombre de configuración. Por ejemplo, "RAG", "dev" o "prod". El nombre puede ayudarle más adelante a coincidir con su objetivo de implementación.
Ahora puede crear su configuración configurando variables.
Desde el panel Seguridad , seleccione el método de autenticación que desea utilizar para implementar su arquitectura.
Agregue la clave API de los requisitos previos en Antes de comenzar.
En la pestaña Seguridad > Autenticación en la sección Configurar , seleccione la clave API.
Ingrese valores para los campos obligatorios desde la pestaña Obligatorio .
Revise los valores de los campos opcionales desde la pestaña Opcional :
signing_key de los requisitos previos en Antes de comenzar.Haga clic en Guardar . Una vez validados los valores de entrada, el botón cambia a Ver configuraciones de pila .
Puede implementar una arquitectura implementable apilada a través de la consola de IBM Cloud de dos maneras:
Mediante implementación automática : el método de implementación puede resultar útil para entornos de demostración y no de producción. Con la implementación automática, todas las configuraciones de los miembros de la pila se validan y luego se aprueban e implementan.
Puede verificar la configuración de implementación automática para su proyecto haciendo clic en Administrar > Configuración . Al activar la implementación automática, habilita la configuración para todas las configuraciones del proyecto.
Individualmente implementando la configuración de cada miembro. El método manual es apropiado para proyectos que mantienen entornos de producción. Puede revisar los cambios en la configuración de cada miembro antes de ejecutar la automatización.
Consejo
Después de aprobar la configuración, es posible que reciba el mensaje de error "No se puede validar su configuración". Para resolver el problema, actualice su navegador.
Es posible que vea notificaciones de "Nueva versión disponible" en la columna Necesita atención en la configuración de su proyecto. Puede ignorar estos mensajes porque no le impiden implementar la pila.
Haga clic en el icono Opciones junto a Ver configuraciones de pila y haga clic en Validar .
Si la configuración de implementación automática está desactivada en su proyecto, solo se validan las configuraciones de miembros que estén listas.
En su proyecto, haga clic en la pestaña Configuraciones .
Si la configuración del primer miembro de la pila ( Account Infrastructure Base ) no está marcada como Lista para validar , actualice la página en su navegador.
Haga clic en Validar en estado Borrador en la fila Account Infrastructure Base .
Apruebe la configuración y haga clic en Implementar después de que la validación se complete correctamente.
Después de implementar la configuración de miembro inicial, puede validar e implementar la configuración de miembro restante al mismo tiempo. Repita estos pasos de implementación para cada configuración de miembro en la arquitectura.
La arquitectura implementable del patrón de generación aumentada de recuperación ahora está implementada en la cuenta de destino.
Una vez implementada la arquitectura, la aplicación de muestra se inicia en el servicio DevOps recién aprovisionado.
Para monitorear la compilación y la implementación de la aplicación, siga estos pasos:
resource_group_name de la arquitectura implementable.Workload - Sample RAG App Configuration .Outputs , la URL de la aplicación implementada aparece en la salida sample_app_public_url . Para minimizar costos, la automatización implementa un plan de precios de prueba de Secrets Manager. Solo puede crear una instancia de prueba de Secrets Manager. Puede implementar una instancia del plan Estándar de Secrets Manager desde la configuración Opcional de la pila.
Para solucionarlo, elimine la instancia de prueba. Después de la eliminación, elimine también el servicio del estado de recuperación.
En IBM Cloud, cuando elimina un recurso, no desaparece inmediatamente. En cambio, entra en un estado de recuperación, en el que permanece durante un breve periodo de tiempo (normalmente 7 días) antes de eliminarse permanentemente. Durante el estado de recuperación, puede recuperar el recurso, si es necesario.
Ejecute los siguientes comandos de la CLI de IBM Cloud para eliminar el servicio del estado de recuperación.
El primer comando enumera todos los recursos en el estado de recuperación.
# List all the resources in reclamation state with its reclamation ID
ibmcloud resource reclamationsBusque el ID de recuperación del servicio Secrets Manager. Utilice esa ID en el siguiente comando.
ibmcloud resource reclamation-delete < reclamation-id >Este problema en particular puede ocurrir cuando su implementación de ALM/cadena de herramientas tiene más de 14 días y la configuración de la aplicación DA se ha anulado o vuelto a implementar. Esto se debe a que se requiere el servicio de entrega continua para crear y eliminar propiedades de canalización, y la implementación se produce cuando es posible que el servicio de CD no exista. Estamos trabajando en una solución a largo plazo para este error, pero mientras tanto se puede mitigar garantizando la existencia de un servicio de CD en el grupo de recursos donde se espera que se creen las cadenas de herramientas.
El problema ocurrirá en la Workload - Sample RAG App Configuration , tanto en las variaciones de Code Engine como de OCP. El error normalmente contendrá este mensaje:
"errors": [
{
"code": 403,
"message": "Continuous Delivery service required"
}
]
Son posibles muchas personalizaciones con esta arquitectura. Estas son algunas opciones comunes.
Cada configuración de miembro incluye una gran cantidad de parámetros de entrada. Puede editar la configuración para cambiar los valores predeterminados.
Por ejemplo, al editar la configuración del miembro, puede lograr lo siguiente:
Para editar la configuración del miembro, seleccione Editar en el icono Opciones en la fila de configuración del miembro.
Puede eliminar una configuración de miembro de la pila de la que no dependen otras configuraciones.
Puede eliminar las siguientes configuraciones en esta arquitectura:
Para eliminar una configuración de miembro, seleccione Eliminar de la pila en el icono Opciones en la fila de configuración de miembro.
Puede agregar o eliminar variables de entrada y salida en el nivel de pila siguiendo estos pasos:
Puede aprovisionar de forma selectiva recursos de observabilidad, como rutas y objetivos de Activity Tracker e instancias de Cloud Monitoring, siguiendo estos pasos:
cloud_logs_provision ): configúrelo para aprovisionar u omitir el aprovisionamiento de una instancia de IBM Cloud Logs.cloud_monitoring_provision ): configúrelo para aprovisionar u omitir el aprovisionamiento de una instancia de IBM Cloud Monitoring.enable_at_event_routing_to_cos_bucket ): configúrelo para habilitar o deshabilitar el enrutamiento de eventos desde Activity Tracker al depósito de Object Storage.enable_at_event_routing_to_cloud_logs ): configúrelo para habilitar o deshabilitar el enrutamiento de eventos desde Activity Tracker a Cloud Logs.Después de modificar su arquitectura implementable en proyectos, puede compartirla con otros a través de un catálogo privado de IBM Cloud. Para compartir su arquitectura implementable, siga los pasos en Compartir su arquitectura implementable con su empresa.
Puede utilizar el código de esta automatización de muestra como guía para personalizar la aplicación de muestra para satisfacer sus necesidades. El código está disponible en https://github.com/terraform-ibm-modules/terraform-ibm-rag-sample-da.
Para usar su propia aplicación, elimine la configuración del miembro Workload - Sample RAG App Configuration de la pila. Esta configuración de miembro es específica de la aplicación de muestra predeterminada.
Limpiar la configuración
Este paso es opcional si planea destruir todos los recursos de Watson. Los artefactos creados por la aplicación se eliminan como parte de la anulación del despliegue de los recursos de Watson.
Siga los pasos descritos en el archivo cleanup.md para eliminar la configuración de la aplicación de muestra.
Eliminar recursos creados por la cadena de herramientas de CI
Los siguientes recursos, que son creados por la cadena de herramientas, no se destruyen como parte de la anulación de la implementación de la pila en Project.
Eliminar el proyecto.
Para anular la implementación de la infraestructura creada por la arquitectura implementable, siga los pasos en Eliminación de un proyecto en los documentos de IBM Cloud.
