oaim sandbox

Oracle AI Microservices Sandbox

? Entwicklervorschau

Beschreibung

Die Oracle AI Microservices Sandbox bietet eine optimierte Umgebung, in der Entwickler und Datenwissenschaftler das Potenzial der generativen künstlichen Intelligenz (GenAI) in Kombination mit den Funktionen der Retrieval-Augmented Generation (RAG) erkunden können. Durch die Integration der Oracle Database 23ai AI Vector Search ermöglicht die Sandbox Benutzern die Verbesserung bestehender Large Language Models (LLMs) durch RAG.

Sandbox-Funktionen

• Einbettungs- und Chat-Modelle konfigurieren
• Dokumentation aufteilen und einbetten
• Speichern eingebetteter Dokumente in der Oracle-Datenbank
• Ändern von Systemprompts (Prompt Engineering)
• Experimentieren mit LLM- Parametern
• Test-Framework für automatisch generierte oder vorhandene Q&A-Datensätze

Erste Schritte

Die Oracle AI Microservices Sandbox kann in Ihrer eigenen Umgebung installiert werden, bei der es sich um den Desktop eines Entwicklers, eine lokale Rechenzentrumsumgebung oder einen Cloud-Anbieter handeln kann. Es kann entweder auf Bare-Metal, in einem Container oder in einem Kubernetes-Cluster ausgeführt werden.

Weitere Informationen, einschließlich weiterer Details zur Einrichtung und Konfiguration, finden Sie in der Dokumentation.

Voraussetzungen

• Oracle Database 23ai inkl. Oracle Database 23ai kostenlos
• Python 3.11 (zum Ausführen von Bare-Metal)
• Container Runtime z. B. Docker/Podman (zur Ausführung in einem Container)
• Zugriff auf ein Einbettungs- und Chat-Modell:
  • API-Schlüssel für Modelle von Drittanbietern
  • Vor-Ort-Modelle _*

_{*Oracle empfiehlt, On-Premises-Modelle auf Hardware mit GPUs auszuführen. Weitere Informationen finden Sie in der Infrastrukturdokumentation.}

Bare-Metal-Installation

Um die Anwendung auf Bare-Metal auszuführen; Laden Sie die Quelle und aus dem Verzeichnis der obersten Ebene herunter:

1. Erstellen und aktivieren Sie eine virtuelle Python-Umgebung:

   python3.11 -m venv .venv
   source .venv/bin/activate
   pip3 install --upgrade pip wheel

2. Installieren Sie die Python-Module:

   pip3 install -r app/requirements.txt

3. Verlassen Sie Ihre Shell und führen Sie sie erneut aus:

    source .venv/bin/activate

4. Streamlit starten:

    cd app/src
   streamlit run oaim-sandbox.py --server.port 8501

5. Navigieren Sie zu http://localhost:8501 .

6. Konfigurieren Sie die Sandbox.

Containerinstallation

Um die Anwendung in einem Container auszuführen; Laden Sie die Quelle und aus dem Verzeichnis der obersten Ebene herunter:

1. Erstellen Sie das Bild.

   Erstellen Sie aus dem Verzeichnis app/ das Image:

   podman build -t oaim-sandbox .

2. Starten Sie den Container:

   podman run -p 8501:8501 -it --rm oaim-sandbox

3. Navigieren Sie zu http://localhost:8501 .

4. Konfigurieren Sie die Sandbox.

Mitwirken

Dieses Projekt freut sich über Beiträge aus der Community. Bevor Sie eine Pull-Anfrage einreichen, lesen Sie bitte unseren Beitragsleitfaden.

Sicherheit

Bitte konsultieren Sie den Sicherheitsleitfaden für unseren Prozess zur verantwortungsvollen Offenlegung von Sicherheitslücken.

Lizenz

Copyright (c) 2024 Oracle und/oder seine verbundenen Unternehmen. Veröffentlicht unter der Universal Permissive License v1.0, wie unter https://oss.oracle.com/licenses/upl/ gezeigt.

Weitere Einzelheiten finden Sie unter LIZENZ.