GenAIExamples

Exemples d'IA générative

Introduction

GenAIExamples est conçu pour permettre aux développeurs d'accéder facilement à l'IA générative, avec des exemples basés sur des microservices qui simplifient les processus de déploiement, de test et de mise à l'échelle des applications GenAI. Tous les exemples sont entièrement compatibles avec Docker et Kubernetes, prenant en charge un large éventail de plates-formes matérielles telles que Gaudi, Xeon et NVIDIA GPU, ainsi que d'autres matériels, garantissant flexibilité et efficacité pour votre adoption de GenAI.

Architecture

GenAIComps est un outil basé sur des services qui inclut des composants de microservices tels que LLM, l'intégration, le reclassement, etc. À l'aide de ces composants, divers exemples dans GenAIExample peuvent être construits, notamment ChatQnA, DocSum, etc.

GenAIInfra, qui fait partie de la suite de conteneurisation et cloud native OPEA, permet un déploiement rapide et efficace de GenAIExamples dans le cloud.

GenAIEval mesure les mesures de performances du service telles que le débit, la latence et la précision pour GenAIExamples. Cette fonctionnalité aide les utilisateurs à comparer facilement les performances de différentes configurations matérielles.

Commencer

GenAIExamples offre des options de déploiement flexibles qui répondent aux différents besoins des utilisateurs, permettant une utilisation et un déploiement efficaces dans divers environnements. Voici un bref aperçu des trois méthodes principales : démarrage de Python, Docker Compose et Kubernetes.

Les utilisateurs peuvent choisir l'approche la plus adaptée en fonction de la facilité de configuration, des besoins d'évolutivité et de l'environnement dans lequel ils évoluent.

Guide de déploiement

Le déploiement est basé par défaut sur les images Docker publiées, consultez la liste des images Docker pour des informations détaillées. Vous pouvez également créer vos propres images en suivant les instructions.

Condition préalable

• Pour un déploiement basé sur Docker Compose, Docker Compose doit être installé. Reportez-vous à l'installation de Docker Compose.
• Pour le déploiement basé sur Kubernetes, nous proposons 3 méthodes allant des manifestes les plus simples au déploiement puissant basé sur GMC.
  • Vous devriez disposer d’un cluster Kubernetes prêt à l’emploi. Sinon, vous pouvez vous référer à l'installation de k8s pour en déployer un.
  • (Facultatif) GMC doit être installé sur votre cluster Kubernetes si vous souhaitez essayer avec GMC. Reportez-vous à l'installation de GMC pour plus d'informations.
  • (Facultatif) Helm (version >= 3.15) doit être installé si vous souhaitez déployer avec Helm Charts. Reportez-vous au Guide d'installation de Helm pour plus d'informations.

Exemples de déploiement

Cas d'utilisation	Docker Composer Déploiement sur Xeon	Docker Composer Déploiement sur Gaudi	Kubernetes avec manifestes	Kubernetes avec les graphiques Helm	Kubernetes avec GMC
ChatQnA	Instructions pour Xeon	Instructions de Gaudi	ChatQnA avec manifestes	ChatQnA avec les graphiques Helm	ChatQnA avec GMC
CodeGen	Instructions pour Xeon	Instructions de Gaudi	CodeGen avec manifestes	CodeGen avec les graphiques Helm	CodeGen avec GMC
CodeTrans	Instructions pour Xeon	Instructions de Gaudi	CodeTrans avec manifestes	CodeTrans avec les graphiques de barre	CodeTrans avec GMC
SommeDoc	Instructions pour Xeon	Instructions de Gaudi	DocSum avec manifestes	DocSum avec graphiques Helm	DocSum avec GMC
RechercherQnA	Instructions pour Xeon	Instructions de Gaudi	Non pris en charge	Non pris en charge	Rechercher QnA avec GMC
FaqGen	Instructions pour Xeon	Instructions de Gaudi	FaqGen avec les manifestes	Non pris en charge	FaqGen avec GMC
Traduction	Instructions pour Xeon	Instructions de Gaudi	Traduction avec des manifestes	Non pris en charge	Traduction avec GMC
AudioQnA	Instructions pour Xeon	Instructions de Gaudi	AudioQnA avec manifestes	Non pris en charge	AudioQnA avec GMC
VisualQnA	Instructions pour Xeon	Instructions de Gaudi	VisualQnA avec manifestes	Non pris en charge	VisualQnA avec GMC
MultimodalQnA	Instructions pour Xeon	Instructions de Gaudi	Non pris en charge	Non pris en charge	Non pris en charge
Suite de productivité	Instructions pour Xeon	Non pris en charge	ProductivitySuite avec manifestes	Non pris en charge	Non pris en charge

Exemples pris en charge

Vérifiez ici pour des informations détaillées sur les exemples, modèles, matériels, etc. pris en charge.

Contribuer à l'OPEA

Bienvenue dans la communauté open source OPEA ! Nous sommes ravis de vous accueillir ici et enthousiasmés par les contributions potentielles que vous pouvez apporter à la plateforme OPEA. Que vous corrigiez des bogues, ajoutiez de nouveaux composants GenAI, amélioriez la documentation ou partagiez vos cas d'utilisation uniques, vos contributions sont inestimables.

Ensemble, nous pouvons faire d'OPEA la plateforme incontournable pour les solutions d'IA d'entreprise. Travaillons ensemble pour repousser les limites du possible et créer un avenir où l'IA sera accessible, efficace et impactante pour tous.

Veuillez consulter les directives de contribution pour un guide détaillé sur la façon de contribuer à un composant GenAI et toutes les façons dont vous pouvez contribuer !

Merci de faire partie de ce voyage. Nous avons hâte de voir ce que nous pouvons réaliser ensemble !

Contenu supplémentaire

• Code de conduite
• Politique de sécurité
• Informations légales