GenAIExamples

Beispiele für generative KI

Einführung

GenAIExamples sollen Entwicklern einen einfachen Einstieg in die generative KI ermöglichen und enthalten auf Microservices basierende Beispiele, die die Prozesse zum Bereitstellen, Testen und Skalieren von GenAI-Anwendungen vereinfachen. Alle Beispiele sind vollständig kompatibel mit Docker und Kubernetes und unterstützen eine breite Palette von Hardwareplattformen wie Gaudi, Xeon und NVIDIA GPU sowie andere Hardware, was Flexibilität und Effizienz für Ihre GenAI-Einführung gewährleistet.

Architektur

GenAIComps ist ein servicebasiertes Tool, das Microservice-Komponenten wie LLM, Einbettung, Reranking usw. umfasst. Mithilfe dieser Komponenten können verschiedene Beispiele in GenAIExample erstellt werden, darunter ChatQnA, DocSum usw.

GenAIInfra, Teil der OPEA-Containerisierungs- und Cloud-native-Suite, ermöglicht die schnelle und effiziente Bereitstellung von GenAIExamples in der Cloud.

GenAIEval misst Serviceleistungsmetriken wie Durchsatz, Latenz und Genauigkeit für GenAIExamples. Mit dieser Funktion können Benutzer die Leistung verschiedener Hardwarekonfigurationen einfach vergleichen.

Erste Schritte

GenAIExamples bietet flexible Bereitstellungsoptionen, die auf unterschiedliche Benutzeranforderungen eingehen und eine effiziente Nutzung und Bereitstellung in verschiedenen Umgebungen ermöglichen. Hier ist ein kurzer Überblick über die drei Hauptmethoden: Python-Startup, Docker Compose und Kubernetes.

Benutzer können je nach einfacher Einrichtung, Skalierbarkeitsanforderungen und der Umgebung, in der sie arbeiten, den am besten geeigneten Ansatz wählen.

Bereitstellungshandbuch

Die Bereitstellung basiert standardmäßig auf veröffentlichten Docker-Images. Detaillierte Informationen finden Sie in der Docker-Image-Liste. Sie können auch Ihre eigenen Bilder erstellen, indem Sie den Anweisungen folgen.

Voraussetzung

• Für eine Docker Compose-basierte Bereitstellung sollte Docker Compose installiert sein. Siehe Docker Compose-Installation.
• Für die Kubernetes-basierte Bereitstellung bieten wir drei Möglichkeiten, von den einfachsten Manifesten bis hin zur leistungsstarken GMC-basierten Bereitstellung.
  • Sie sollten über einen einsatzbereiten Kubernetes-Cluster verfügen. Wenn nicht, können Sie sich an k8s install wenden, um eines bereitzustellen.
  • (Optional) Sie sollten GMC in Ihrem Kubernetes-Cluster installiert haben, wenn Sie es mit GMC versuchen möchten. Weitere Informationen finden Sie unter GMC-Installation.
  • (Optional) Sie sollten Helm (Version >= 3.15) installiert haben, wenn Sie mit Helm Charts bereitstellen möchten. Weitere Informationen finden Sie im Helm-Installationshandbuch.

Beispiele bereitstellen

Anwendungsfall	Docker Compose Bereitstellung auf Xeon	Docker Compose Einsatz auf Gaudi	Kubernetes mit Manifesten	Kubernetes mit Helm-Charts	Kubernetes mit GMC
ChatQnA	Xeon-Anweisungen	Gaudi-Anweisungen	ChatQnA mit Manifesten	ChatQnA mit Helm-Charts	ChatQnA mit GMC
CodeGen	Xeon-Anweisungen	Gaudi-Anweisungen	CodeGen mit Manifesten	CodeGen mit Helm-Charts	CodeGen mit GMC
CodeTrans	Xeon-Anweisungen	Gaudi-Anweisungen	CodeTrans mit Manifesten	CodeTrans mit Helm-Charts	CodeTrans mit GMC
DocSum	Xeon-Anweisungen	Gaudi-Anweisungen	DocSum mit Manifesten	DocSum mit Helm-Charts	DocSum mit GMC
SearchQnA	Xeon-Anweisungen	Gaudi-Anweisungen	Nicht unterstützt	Nicht unterstützt	SearchQnA mit GMC
FAQGen	Xeon-Anweisungen	Gaudi-Anweisungen	FaqGen mit Manifesten	Nicht unterstützt	FAQGen mit GMC
Übersetzung	Xeon-Anweisungen	Gaudi-Anweisungen	Übersetzung mit Manifesten	Nicht unterstützt	Übersetzung mit GMC
AudioQnA	Xeon-Anweisungen	Gaudi-Anweisungen	AudioQnA mit Manifesten	Nicht unterstützt	AudioQnA mit GMC
VisualQnA	Xeon-Anweisungen	Gaudi-Anweisungen	VisualQnA mit Manifesten	Nicht unterstützt	VisualQnA mit GMC
MultimodalQnA	Xeon-Anweisungen	Gaudi-Anweisungen	Nicht unterstützt	Nicht unterstützt	Nicht unterstützt
ProduktivitätSuite	Xeon-Anweisungen	Nicht unterstützt	ProductivitySuite mit Manifesten	Nicht unterstützt	Nicht unterstützt

Unterstützte Beispiele

Detaillierte Informationen zu unterstützten Beispielen, Modellen, Hardware usw. finden Sie hier.

Beitrag zu OPEA

Willkommen in der Open-Source-Community von OPEA! Wir freuen uns sehr, Sie hier zu haben und sind gespannt auf die möglichen Beiträge, die Sie zur OPEA-Plattform einbringen können. Ganz gleich, ob Sie Fehler beheben, neue GenAI-Komponenten hinzufügen, die Dokumentation verbessern oder Ihre einzigartigen Anwendungsfälle teilen – Ihre Beiträge sind von unschätzbarem Wert.

Gemeinsam können wir OPEA zur bevorzugten Plattform für KI-Lösungen für Unternehmen machen. Lassen Sie uns zusammenarbeiten, um die Grenzen des Möglichen zu erweitern und eine Zukunft zu schaffen, in der KI für alle zugänglich, effizient und wirkungsvoll ist.

Bitte lesen Sie die Beitragsrichtlinien für eine detaillierte Anleitung zum Beitragen einer GenAI-Komponente und zu allen Möglichkeiten, wie Sie dazu beitragen können!

Vielen Dank, dass Sie Teil dieser Reise sind. Wir können es kaum erwarten zu sehen, was wir gemeinsam erreichen können!

Zusätzlicher Inhalt

• Verhaltenskodex
• Sicherheitsrichtlinie
• Rechtliche Informationen