Descargar langstream - Descargar el código fuente de langstream

langstream

Otro código fuente

v0.6.2

Descargar

Langstream

Visite nuestro sitio web.

¿Tienes una pregunta? ¡Únete a nuestra comunidad en Slack o Linen!

Para la documentación completa, vaya aquí.

Obtenga la extensión del código Langstream vs aquí.

Contenido

Langstream
- CLI
- Prueba la aplicación de muestra
- Crea tu propia aplicación
- Ejecute Langstream en Kubernetes
  - Implementación lista para la producción
  - Despliegue local
- Desarrollo

CLI

La advertencia CLI requiere que Java 11+ ya esté instalado en su máquina.

Instalación

Hay múltiples formas de instalar la CLI.

MacOS:

Cerveza casera

 brew install LangStream/langstream/langstream

Binario con curl

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

Unix:

Binario con curl

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

Verificar que el binario esté disponible:

 langstream -V

Consulte la documentación de la CLI para obtener más información.

Prueba la aplicación de muestra

Ejecute la aplicación de finalización de chat de muestra sobre la marcha:

 export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test 
   -app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions 
   -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

En una ventana terminal diferente:

langstream gateway chat test -cg consume-output -pg produce-input -p sessionId= $( uuidgen )

Consulte más aplicaciones de muestra en la carpeta de ejemplos.

Crea tu propia aplicación

Para crear su propia aplicación, consulte la documentación del desarrollador.

Ejecute Langstream en Kubernetes

Langstream está listo para la producción, y se sugiere altamente implementándolo en un clúster de Kubernetes. Se admiten las siguientes distribuciones de Kubernetes:

Amazon Eks
Azure aks
Google GKE
Minikube

Para ejecutar un clúster Langstream, necesita los siguientes componentes externos :

Apache kafka o clúster de pulsar apache
Almacenamiento S3 API compatible o almacenamiento de blob Azure (Amazon S3, Google Cloud Storage, Azure Blob Storage, Minio)

Implementación lista para la producción

Para instalar Langstream, puede usar el gráfico de timón langstream :

 helm repo add langstream https://langstream.ai/charts
helm repo update

Luego cree el archivo de valores. En este punto, ya necesita que el servicio de almacenamiento esté en funcionamiento.

En caso de que esté utilizando S3, puede usar los siguientes valores:

 codeStorage :
  type : s3
  configuration :
    access-key : <aws-access-key>
    secret-key : <aws-secret-key>

Para Azure:

 codeStorage :
  type : azure
  configuration :
    endpoint : https://<storage-account>.blob.core.windows.net
    container : langstream
    storage-account-name : <storage-account>
    storage-account-key : <storage-account-key>

Ahora instale langstream con él:

 helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s

Despliegue local

Para crear un clúster Langstream local, se recomienda usar Minikube. mini-langstream viene en ayuda para instalar y administrar su clúster local.

Para instalar mini-langstream :

MacOS:

brew install LangStream/langstream/mini-langstream

Unix:

curl -Ls " https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh " | bash

Luego inicie el clúster:

mini-langstream start

Implementar una aplicación:

 export OPEN_AI_ACCESS_KEY= < your-openai-api-key >
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Para detener el clúster: