langstream 다운로드 langstream 소스 코드 다운로드

langstream

기타 소스코드

v0.6.2

다운로드

랭 스트림

당사 웹 사이트를 확인하십시오.

질문이 있습니까? 슬랙 또는 리넨에서 커뮤니티에 가입하십시오!

전체 문서를 보려면 여기로 이동하십시오.

여기에서 Langstream 대 코드 확장을 받으십시오.

내용물

랭 스트림
- 클리
- 샘플 응용 프로그램을 사용해보십시오
- 나만의 응용 프로그램을 만듭니다
- Kubernetes에서 Langstream을 실행하십시오
  - 생산 준비가 가능한 배포
  - 로컬 배치
- 개발

클리

경고 CLI를 사용하려면 Java 11+가 컴퓨터에 이미 설치되어야합니다.

설치

CLI를 설치하는 방법에는 여러 가지가 있습니다.

마코스 :

홈브류

 brew install LangStream/langstream/langstream

컬이있는 이진

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

유닉스 :

컬이있는 이진

 curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash

이진을 사용할 수 있는지 확인하십시오.

 langstream -V

자세한 내용은 CLI 문서를 참조하십시오.

샘플 응용 프로그램을 사용해보십시오

샘플 채팅 완료 신청서를 날아가십시오 :

 export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test 
   -app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions 
   -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

다른 터미널 창에서 :

langstream gateway chat test -cg consume-output -pg produce-input -p sessionId= $( uuidgen )

예제 폴더에서 더 많은 샘플 응용 프로그램을 참조하십시오.

나만의 응용 프로그램을 만듭니다

자신의 응용 프로그램을 만들려면 개발자 문서를 참조하십시오.

Kubernetes에서 Langstream을 실행하십시오

Langstream은 생산 준비가되어 있으며 Kubernetes 클러스터에 배포하는 것이 좋습니다. 다음 Kubernetes 분포가 지원됩니다.

아마존 eks
Azure Aks
Google Gke
미니 큐브

Langstream 클러스터를 실행하려면 다음 외부 구성 요소가 필요합니다.

Apache Kafka 또는 Apache Pulsar 클러스터
S3 API 호환 스토리지 또는 Azure Blob Storage (Amazon S3, Google Cloud Storage, Azure Blob Storage, Minio)

생산 준비가 가능한 배포

Langstream을 설치하려면 langstream Helm 차트를 사용할 수 있습니다.

 helm repo add langstream https://langstream.ai/charts
helm repo update

그런 다음 값 파일을 만듭니다. 이 시점에서 이미 스토리지 서비스가 시작되어 실행되기 위해서는 이미 스토리지 서비스가 필요합니다.

S3을 사용하는 경우 다음 값을 사용할 수 있습니다.

 codeStorage :
  type : s3
  configuration :
    access-key : <aws-access-key>
    secret-key : <aws-secret-key>

Azure의 경우 :

 codeStorage :
  type : azure
  configuration :
    endpoint : https://<storage-account>.blob.core.windows.net
    container : langstream
    storage-account-name : <storage-account>
    storage-account-key : <storage-account-key>

이제 langstream을 설치하십시오.

 helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s

로컬 배치

로컬 Langstream 클러스터를 만들려면 Minikube를 사용하는 것이 좋습니다. mini-langstream 로컬 클러스터 설치 및 관리에 도움이됩니다.

mini-langstream 설치하려면 :

마코스 :

brew install LangStream/langstream/mini-langstream

유닉스 :

curl -Ls " https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh " | bash

그런 다음 클러스터를 시작합니다.

mini-langstream start

응용 프로그램 배포 :

 export OPEN_AI_ACCESS_KEY= < your-openai-api-key >
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

클러스터를 중지하려면 :