Téléchargement langstream - Téléchargement du code source langstream

langstream

Autre code source

v0.6.2

Télécharger

Languette

Consultez notre site Web.

Vous avez une question? Rejoignez notre communauté sur Slack ou Linen!

Pour la documentation complète, allez ici.

Obtenez l'extension Langstream vs Code ici.

Contenu

Languette
- CLI
- Essayez l'exemple d'application
- Créez votre propre application
- Exécutez Langstream sur Kubernetes
  - Déploiement prêt pour la production
  - Déploiement local
- Développement

CLI

AVERTISSEMENT CLI nécessite que Java 11+ soit déjà installé sur votre machine.

Installation

Il existe plusieurs façons d'installer la CLI.

MacOS:

Homebrew

 brew install LangStream/langstream/langstream

Binaire avec boucle

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

Unix:

Binaire avec boucle

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

Vérifiez que le binaire est disponible:

 langstream -V

Reportez-vous à la documentation CLI pour en savoir plus.

Essayez l'exemple d'application

Exécutez l'exemple de l'application de complétion de chat à la volée:

 export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test 
   -app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions 
   -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Dans une fenêtre de terminal différente:

langstream gateway chat test -cg consume-output -pg produce-input -p sessionId= $( uuidgen )

Voir plus d'applications d'échantillons dans le dossier Exemples.

Créez votre propre application

Pour créer votre propre application, reportez-vous à la documentation du développeur.

Exécutez Langstream sur Kubernetes

Langstream est prêt pour la production, et il est fortement suggéré de le déployer sur un cluster Kubernetes. Les distributions de Kubernetes suivantes sont prises en charge:

Amazon Eks
Aks aks
Google Gke
Minikube

Pour exécuter un cluster Langstream, vous avez besoin des composants externes suivants:

Apache Kafka ou Apache Pulsar Cluster
Stockage compatible API S3 ou stockage Azure Blob (Amazon S3, Storage Google Cloud, Azure Blob Storage, Minio)

Déploiement prêt pour la production

Pour installer Langstream, vous pouvez utiliser le graphique de la barre langstream :

 helm repo add langstream https://langstream.ai/charts
helm repo update

Créez ensuite le fichier de valeurs. À ce stade, vous avez déjà besoin que le service de stockage soit opérationnel.

Dans le cas où vous utilisez S3, vous pouvez utiliser les valeurs suivantes:

 codeStorage :
  type : s3
  configuration :
    access-key : <aws-access-key>
    secret-key : <aws-secret-key>

Pour Azure:

 codeStorage :
  type : azure
  configuration :
    endpoint : https://<storage-account>.blob.core.windows.net
    container : langstream
    storage-account-name : <storage-account>
    storage-account-key : <storage-account-key>

Installez maintenant Langstream avec:

 helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s

Déploiement local

Pour créer un cluster Langstream local, il est recommandé d'utiliser Minikube. mini-langstream est disponible pour l'installation et la gestion de votre cluster local.

Pour installer mini-langstream :

MacOS:

brew install LangStream/langstream/mini-langstream

Unix:

curl -Ls " https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh " | bash

Puis démarrage du cluster:

mini-langstream start

Déployer une demande:

 export OPEN_AI_ACCESS_KEY= < your-openai-api-key >
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Pour arrêter le cluster: