Unduh langstream - Unduh Kode Sumber langstream

langstream

Kode sumber lainnya

v0.6.2

Unduh

Langstream

Lihat situs web kami.

Punya pertanyaan? Bergabunglah dengan komunitas kami di Slack atau Linen!

Untuk dokumentasi lengkap, buka di sini.

Dapatkan ekstensi kode Langstream vs di sini.

Isi

Langstream
- Cli
- Coba Aplikasi Sampel
- Buat Aplikasi Anda Sendiri
- Jalankan Langstream di Kubernetes
  - Penyebaran siap-produksi
  - Penempatan lokal
- Perkembangan

Cli

PERINGATAN CLI membutuhkan Java 11+ untuk sudah diinstal pada mesin Anda.

Instalasi

Ada beberapa cara untuk menginstal CLI.

MacOS:

Homebrew

 brew install LangStream/langstream/langstream

Biner dengan ikal

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

UNIX:

Biner dengan ikal

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

Verifikasi biner tersedia:

 langstream -V

Lihat dokumentasi CLI untuk mempelajari lebih lanjut.

Coba Aplikasi Sampel

Jalankan Aplikasi Penyelesaian Obrolan Sampel saat terbang:

 export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test 
   -app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions 
   -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Di jendela terminal yang berbeda:

langstream gateway chat test -cg consume-output -pg produce-input -p sessionId= $( uuidgen )

Lihat lebih banyak aplikasi sampel di folder contoh.

Buat Aplikasi Anda Sendiri

Untuk membuat aplikasi Anda sendiri, lihat dokumentasi pengembang.

Jalankan Langstream di Kubernetes

Langstream siap-produksi, dan sangat disarankan menyebarkannya pada cluster Kubernetes. Distribusi Kubernetes berikut didukung:

Amazon Eks
Azure aks
Google GKE
Minikube

Untuk menjalankan cluster Langstream, Anda perlu ke komponen eksternal berikut:

Apache Kafka atau Apache Pulsar Cluster
Penyimpanan S3 yang kompatibel dengan API atau penyimpanan gumpalan Azure (Amazon S3, penyimpanan Google Cloud, Azure Blob Storage, Minio)

Penyebaran siap-produksi

Untuk menginstal Langstream, Anda dapat menggunakan bagan Helm langstream :

 helm repo add langstream https://langstream.ai/charts
helm repo update

Kemudian buat file nilai. Pada titik ini Anda sudah membutuhkan layanan penyimpanan dan berjalan.

Jika Anda menggunakan S3, Anda dapat menggunakan nilai -nilai berikut:

 codeStorage :
  type : s3
  configuration :
    access-key : <aws-access-key>
    secret-key : <aws-secret-key>

Untuk Azure:

 codeStorage :
  type : azure
  configuration :
    endpoint : https://<storage-account>.blob.core.windows.net
    container : langstream
    storage-account-name : <storage-account>
    storage-account-key : <storage-account-key>

Sekarang instal Langstream dengan itu:

 helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s

Penempatan lokal

Untuk membuat cluster Langstream lokal, disarankan untuk menggunakan Minikube. mini-langstream datang dalam bantuan untuk menginstal dan mengelola cluster lokal Anda.

Untuk menginstal mini-langstream :

MacOS:

brew install LangStream/langstream/mini-langstream

UNIX:

curl -Ls " https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh " | bash

Kemudian startup cluster:

mini-langstream start

Menyebarkan aplikasi:

 export OPEN_AI_ACCESS_KEY= < your-openai-api-key >
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Untuk menghentikan cluster: