GenAIExamples

Ejemplos de IA generativa

Introducción

GenAIExamples está diseñado para brindar a los desarrolladores una entrada fácil a la IA generativa, con muestras basadas en microservicios que simplifican los procesos de implementación, prueba y escalado de aplicaciones GenAI. Todos los ejemplos son totalmente compatibles con Docker y Kubernetes, y admiten una amplia gama de plataformas de hardware como Gaudi, Xeon y NVIDIA GPU, y otros hardwares, lo que garantiza flexibilidad y eficiencia para la adopción de GenAI.

Arquitectura

GenAIComps es una herramienta basada en servicios que incluye componentes de microservicios como llm, incrustación, reclasificación, etc. Con estos componentes, se pueden construir varios ejemplos en GenAIExample, incluidos ChatQnA, DocSum, etc.

GenAIInfra, parte de la suite nativa de la nube y de contenedorización de OPEA, permite una implementación rápida y eficiente de GenAIExamples en la nube.

GenAIEval mide métricas de rendimiento del servicio, como el rendimiento, la latencia y la precisión, para GenAIExamples. Esta característica ayuda a los usuarios a comparar fácilmente el rendimiento en varias configuraciones de hardware.

Empezando

GenAIExamples ofrece opciones de implementación flexibles que se adaptan a las diferentes necesidades de los usuarios, lo que permite un uso y una implementación eficientes en diversos entornos. A continuación se ofrece una breve descripción general de los tres métodos principales: inicio de Python, Docker Compose y Kubernetes.

Los usuarios pueden elegir el enfoque más adecuado según la facilidad de configuración, las necesidades de escalabilidad y el entorno en el que operan.

Guía de implementación

La implementación se basa en las imágenes de Docker publicadas de forma predeterminada; consulte la lista de imágenes de Docker para obtener información detallada. También puedes crear tus propias imágenes siguiendo las instrucciones.

Requisito previo

• Para la implementación basada en Docker Compose, debe tener instalado Docker Compose. Consulte la instalación de Docker Compose.
• Para la implementación basada en Kubernetes, proporcionamos tres formas, desde los manifiestos más sencillos hasta la potente implementación basada en GMC.
  • Debería tener un clúster de Kubernetes listo para usar. De lo contrario, puede consultar la instalación de k8s para implementar uno.
  • (Opcional) Debe tener GMC instalado en su clúster de Kubernetes si desea probar con GMC. Consulte Instalación de GMC para obtener más información.
  • (Opcional) Debe tener instalado Helm (versión >= 3.15) si desea implementar con Helm Charts. Consulte la Guía de instalación de Helm para obtener más información.

Ejemplos de implementación

Caso de uso	Composición acoplable Implementación en Xeon	Composición acoplable Despliegue en Gaudí	Kubernetes con manifiestos	Kubernetes con gráficos de Helm	Kubernetes con GMC
ChatQnA	Instrucciones de Xeon	Instrucciones de Gaudí	ChatQnA con manifiestos	ChatQnA con gráficos Helm	ChatQnA con GMC
CódigoGen	Instrucciones de Xeon	Instrucciones de Gaudí	CodeGen con manifiestos	CodeGen con gráficos de timón	CodeGen con GMC
CódigoTrans	Instrucciones de Xeon	Instrucciones de Gaudí	CodeTrans con manifiestos	CodeTrans con gráficos de timón	CodeTrans con GMC
sumadoc	Instrucciones de Xeon	Instrucciones de Gaudí	DocSum con manifiestos	DocSum con gráficos Helm	DocSum con GMC
BuscarQnA	Instrucciones de Xeon	Instrucciones de Gaudí	No compatible	No compatible	Buscar QnA con GMC
Preguntas frecuentes	Instrucciones de Xeon	Instrucciones de Gaudí	Preguntas frecuentes con manifiestos	No compatible	Generación de preguntas frecuentes con GMC
Traducción	Instrucciones de Xeon	Instrucciones de Gaudí	Traducción con manifiestos	No compatible	Traducción con GMC
AudioQnA	Instrucciones de Xeon	Instrucciones de Gaudí	AudioQnA con manifiestos	No compatible	AudioQnA con GMC
VisualQnA	Instrucciones de Xeon	Instrucciones de Gaudí	VisualQnA con manifiestos	No compatible	VisualQnA con GMC
MultimodalQnA	Instrucciones de Xeon	Instrucciones de Gaudí	No compatible	No compatible	No compatible
ProductividadSuite	Instrucciones de Xeon	No compatible	ProductivitySuite con manifiestos	No compatible	No compatible

Ejemplos admitidos

Consulte aquí para obtener información detallada sobre ejemplos, modelos, hardware, etc. compatibles.

Contribuyendo a OPEA

¡Bienvenido a la comunidad de código abierto OPEA! Estamos encantados de tenerlo aquí y entusiasmados con las posibles contribuciones que puede aportar a la plataforma OPEA. Ya sea que esté corrigiendo errores, agregando nuevos componentes GenAI, mejorando la documentación o compartiendo sus casos de uso únicos, sus contribuciones son invaluables.

Juntos, podemos hacer de OPEA la plataforma de referencia para soluciones empresariales de IA. Trabajemos juntos para ampliar los límites de lo que es posible y crear un futuro en el que la IA sea accesible, eficiente e impactante para todos.

Consulte las pautas de contribución para obtener una guía detallada sobre cómo contribuir con un componente GenAI y todas las formas en que puede contribuir.

Gracias por ser parte de este viaje. ¡Estamos ansiosos por ver qué podemos lograr juntos!

Contenido adicional

• Código de conducta
• Política de seguridad
• Información Legal