langstream

Langstream

Schauen Sie sich unsere Website an.

Haben Sie eine Frage? Schließen Sie sich unserer Community auf Slack oder Leinen an!

Für die vollständige Dokumentation finden Sie hier.

Holen Sie sich hier die Langstream vs -Code -Erweiterung.

Inhalt

• Langstream
  • Cli
  • Probieren Sie die Beispielanwendung aus
  • Erstellen Sie Ihre eigene Anwendung
  • Führen Sie Langstream auf Kubernetes aus
    • Produktionsbereitete Einsatz
    • Lokale Bereitstellung
  • Entwicklung

Cli

Warnungs -CLI erfordert, dass Java 11+ bereits auf Ihrem Computer installiert ist.

Installation

Es gibt mehrere Möglichkeiten, die CLI zu installieren.

• Macos:

  • Homebrew

   brew install LangStream/langstream/langstream
  

  • Binär mit Curl

   curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash
  

• Unix:

  • Binär mit Curl

   curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash
  

Überprüfen Sie, ob die Binärdatei verfügbar ist:

 langstream -V

Siehe die CLI -Dokumentation, um mehr zu erfahren.

Probieren Sie die Beispielanwendung aus

Führen Sie die Anwendung "Beispiel Chat-Abschlüsse" im Fliege aus:

 export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test 
   -app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions 
   -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

In einem anderen Terminalfenster:

langstream gateway chat test -cg consume-output -pg produce-input -p sessionId= $( uuidgen )

Weitere Beispielanwendungen finden Sie im Beispiel -Ordner.

Erstellen Sie Ihre eigene Anwendung

Um Ihre eigene Anwendung zu erstellen, finden Sie in der Entwicklerdokumentation.

Führen Sie Langstream auf Kubernetes aus

Langstream ist produktionsbereit und es wird sehr empfohlen, es in einem Kubernetes-Cluster bereitzustellen. Die folgenden Kubernetes -Verteilungen werden unterstützt:

• Amazon Eks
• Azure Aks
• Google Gke
• Minikube

Um einen Langstream -Cluster auszuführen, benötigen Sie die folgenden externen Komponenten:

• Apache Kafka oder Apache Pulsar Cluster
• S3 API-kompatibler Speicher oder Azure-Blob-Speicher (Amazon S3, Google Cloud-Speicher, Azure-Blob-Speicher, Minio)

Produktionsbereitete Einsatz

Um Langstream zu installieren, können Sie das langstream -Helm -Diagramm verwenden:

 helm repo add langstream https://langstream.ai/charts
helm repo update

Erstellen Sie dann die Wertedatei. Zu diesem Zeitpunkt benötigen Sie bereits den Speicherdienst, um in Betrieb zu stehen.

Falls Sie S3 verwenden, können Sie die folgenden Werte verwenden:

 codeStorage :
  type : s3
  configuration :
    access-key : <aws-access-key>
    secret-key : <aws-secret-key>

Für Azure:

 codeStorage :
  type : azure
  configuration :
    endpoint : https://<storage-account>.blob.core.windows.net
    container : langstream
    storage-account-name : <storage-account>
    storage-account-key : <storage-account-key>

Installieren Sie nun Langstream damit:

 helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s

Lokale Bereitstellung

Um einen lokalen Langstream -Cluster zu erstellen, wird empfohlen, Minikube zu verwenden. mini-langstream hilft bei der Installation und Verwaltung Ihres lokalen Clusters.

So installieren Sie mini-langstream :

• Macos:

brew install LangStream/langstream/mini-langstream

• Unix:

curl -Ls " https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh " | bash

Dann starten Sie den Cluster:

mini-langstream start

Bereitstellen einer Anwendung:

 export OPEN_AI_ACCESS_KEY= < your-openai-api-key >
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Um den Cluster zu stoppen:

mini-langstream delete

Siehe die Mini-Langstream-Dokumentation, um mehr zu erfahren.

Entwicklung

Anforderungen für den Bau des Projekts:

• Docker
• Java 17
• Git
• Python 3.11+ und Pip

Wenn Sie lokale Codeänderungen testen möchten, können Sie mini-langstream verwenden.

mini-langstream dev start

Dieser Befehl erstellt die Bilder im minikube -Kontext und installiert alle Langstream -Dienste mit dem Snapshot -Bild.

Sobald der Cluster ausgeführt wird, können Sie eine neue Version eines bestimmten Dienstes erstellen, wenn Sie eine neue Version eines bestimmten Dienstes erstellen möchten, die Sie ausführen können:

mini-langstream dev build < service >

oder für alle Dienste

mini-langstream dev build