ดาวน์โหลด langstream - ดาวน์โหลดซอร์สโค้ด langstream

langstream

ซอร์สโค้ดอื่น ๆ

v0.6.2

ดาวน์โหลด

ลางสตรีม

ตรวจสอบเว็บไซต์ของเรา

มีคำถาม? เข้าร่วมชุมชนของเราใน Slack หรือ Linen!

สำหรับเอกสารที่สมบูรณ์ไปที่นี่

รับส่วนขยายรหัส Langstream vs ที่นี่

สารบัญ

ลางสตรีม
- CLI
- ลองใช้แอปพลิเคชันตัวอย่าง
- สร้างแอปพลิเคชันของคุณเอง
- เรียกใช้ Langstream บน Kubernetes
  - การปรับใช้พร้อมการผลิต
  - การปรับใช้ในท้องถิ่น
- การพัฒนา

CLI

คำเตือน CLI ต้องการให้ติดตั้ง Java 11+ บนเครื่องของคุณแล้ว

การติดตั้ง

มีหลายวิธีในการติดตั้ง CLI

macos:

โฮมบรูว์

 brew install LangStream/langstream/langstream

ไบนารีกับม้วน

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

UNIX:

ไบนารีกับม้วน

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

ตรวจสอบว่าไบนารีมีอยู่:

 langstream -V

อ้างถึงเอกสาร CLI เพื่อเรียนรู้เพิ่มเติม

ลองใช้แอปพลิเคชันตัวอย่าง

เรียกใช้แอปพลิเคชันการแชทที่สมบูรณ์แบบในขณะบิน:

 export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test 
   -app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions 
   -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

ในหน้าต่างเทอร์มินัลอื่น:

langstream gateway chat test -cg consume-output -pg produce-input -p sessionId= $( uuidgen )

ดูแอปพลิเคชันตัวอย่างเพิ่มเติมในโฟลเดอร์ตัวอย่าง

สร้างแอปพลิเคชันของคุณเอง

ในการสร้างแอปพลิเคชันของคุณเองโปรดดูเอกสารประกอบของนักพัฒนา

เรียกใช้ Langstream บน Kubernetes

Langstream พร้อมให้การผลิตและมีการแนะนำอย่างมากในการปรับใช้ในคลัสเตอร์ Kubernetes รองรับการแจกแจง Kubernetes ต่อไปนี้:

Amazon Eks
Azure Aks
Google Gke
ขนาดเล็ก

ในการเรียกใช้คลัสเตอร์ Langstream คุณต้องใช้ส่วนประกอบ ภายนอก ต่อไปนี้:

Apache Kafka หรือ Apache Pulsar Cluster
ที่เก็บข้อมูลที่เข้ากันได้กับ S3 API หรือ Azure Blob (Amazon S3, Google Cloud Storage, Azure Blob Storage, Minio)

การปรับใช้พร้อมการผลิต

ในการติดตั้ง Langstream คุณสามารถใช้แผนภูมิ Helm langstream :

 helm repo add langstream https://langstream.ai/charts
helm repo update

จากนั้นสร้างไฟล์ค่า ณ จุดนี้คุณต้องใช้บริการจัดเก็บข้อมูลแล้ว

ในกรณีที่คุณใช้ S3 คุณสามารถใช้ค่าต่อไปนี้:

 codeStorage :
  type : s3
  configuration :
    access-key : <aws-access-key>
    secret-key : <aws-secret-key>

สำหรับ Azure:

 codeStorage :
  type : azure
  configuration :
    endpoint : https://<storage-account>.blob.core.windows.net
    container : langstream
    storage-account-name : <storage-account>
    storage-account-key : <storage-account-key>

ตอนนี้ติดตั้ง Langstream ด้วย:

 helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s

การปรับใช้ในท้องถิ่น

ในการสร้างคลัสเตอร์ Langstream ท้องถิ่นขอแนะนำให้ใช้ minikube mini-langstream มาช่วยในการติดตั้งและจัดการคลัสเตอร์ท้องถิ่นของคุณ

ในการติดตั้ง mini-langstream :

macos:

brew install LangStream/langstream/mini-langstream

UNIX:

curl -Ls " https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh " | bash

จากนั้นเริ่มต้นคลัสเตอร์:

mini-langstream start

ปรับใช้แอปพลิเคชัน:

 export OPEN_AI_ACCESS_KEY= < your-openai-api-key >
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

เพื่อหยุดคลัสเตอร์: