langstream

Langstream

Проверьте наш сайт.

Есть вопрос? Присоединяйтесь к нашему сообществу на Slack или Linen!

Для полной документации, перейдите сюда.

Получите расширение Langstream vs кода здесь.

Содержимое

• Langstream
  • Кли
  • Попробуйте образец приложения
  • Создайте свое собственное приложение
  • Запустить Langstream на Kubernetes
    • Готовое к производству развертывание
    • Местное развертывание
  • Разработка

Кли

Предупреждение CLI требует, чтобы Java 11+ уже установлен на вашей машине.

Установка

Есть несколько способов установить CLI.

• MacOS:

  • Домашний

   brew install LangStream/langstream/langstream
  

  • Бинарный с керлом

   curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash
  

• Unix:

  • Бинарный с керлом

   curl -Ls "https://raw.githubusercontent.com/LangStream/langstream/main/bin/get-cli.sh" | bash
  

Убедитесь, что двоичный файл доступен:

 langstream -V

Обратитесь к документации CLI, чтобы узнать больше.

Попробуйте образец приложения

Запустите пример приложения для завершения чата на лету:

 export OPEN_AI_ACCESS_KEY=your-key-here
langstream docker run test 
   -app https://github.com/LangStream/langstream/blob/main/examples/applications/openai-completions 
   -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

В другом окне терминала:

langstream gateway chat test -cg consume-output -pg produce-input -p sessionId= $( uuidgen )

См. Больше образцов приложений в папке примеров.

Создайте свое собственное приложение

Чтобы создать свое собственное приложение, обратитесь к документации разработчика.

Запустить Langstream на Kubernetes

Langstream готова к производству, и он предлагается развернуть его в кластере Kubernetes. Поддерживаются следующие распределения Kubernetes:

• Amazon Eks
• Azure AKS
• Google GKE
• Minikube

Чтобы запустить кластер Langstream, вам необходимо следующие внешние компоненты:

• Apache Kafka или Apache Pulsar Cluster
• S3 API-совместимое хранение или лазурное хранилище Blob Blob (Amazon S3, Google Cloud Storage, Hazure Blob Storage, Minio)

Готовое к производству развертывание

Чтобы установить Langstream, вы можете использовать диаграмму Helm langstream :

 helm repo add langstream https://langstream.ai/charts
helm repo update

Затем создайте файл значений. На этом этапе вам уже нужна служба хранения, чтобы работать.

Если вы используете S3, вы можете использовать следующие значения:

 codeStorage :
  type : s3
  configuration :
    access-key : <aws-access-key>
    secret-key : <aws-secret-key>

Для Azure:

 codeStorage :
  type : azure
  configuration :
    endpoint : https://<storage-account>.blob.core.windows.net
    container : langstream
    storage-account-name : <storage-account>
    storage-account-key : <storage-account-key>

Теперь установите Langstream с ним:

 helm install -n langstream --create-namespace langstream langstream/langstream --values values.yaml
kubectl wait -n langstream deployment/langstream-control-plane --for condition=available --timeout=300s

Местное развертывание

Для создания локального кластера Langstream рекомендуется использовать Minikube. mini-langstream помогает для установки и управления местным кластером.

Чтобы установить mini-langstream :

• MacOS:

brew install LangStream/langstream/mini-langstream

• Unix:

curl -Ls " https://raw.githubusercontent.com/LangStream/langstream/main/mini-langstream/get-mini-langstream.sh " | bash

Затем запустите кластер:

mini-langstream start

Развернуть приложение:

 export OPEN_AI_ACCESS_KEY= < your-openai-api-key >
mini-langstream cli apps deploy my-app -app https://github.com/LangStream/langstream/tree/main/examples/applications/openai-completions -s https://github.com/LangStream/langstream/blob/main/examples/secrets/secrets.yaml

Чтобы остановить кластер:

mini-langstream delete

Обратитесь к документации по мини-лангеру, чтобы узнать больше.

Разработка

Требования к созданию проекта:

• Докер
• Ява 17
• Git
• Python 3.11+ и PIP

Если вы хотите протестировать локальные изменения кода, вы можете использовать mini-langstream .

mini-langstream dev start

Эта команда будет создавать изображения в контексте minikube и установит все сервисы Langstream с изображением снимка.

Как только кластер будет запущен, если вы хотите построить ABD Загрузить новую версию конкретной службы, вы можете запустить:

mini-langstream dev build < service >

или для всех услуг

mini-langstream dev build