kubeai下載kubeai源代碼下載

kubeai

其他源碼

helm-chart-models-0.9.0

下載

Kubeai：AI推理操作員

在Kubernetes上進行推斷：LLM，嵌入，語音到文本。

✅️與API兼容性進行OpenAI的置換式替換
⚖️從零的尺度，基於負載的AutoScale
？服務文本生成模型（LLM，VLM等）
對文字API的講話
？嵌入/矢量API
多平台：僅CPU，GPU，TPU
？帶有共享文件系統（EFS，FILESTORE等）的模型緩存
零依賴性（不依賴於iStio，knative等）
聊天UI包括（OpenWebui）
？操作OSS模型服務器（VLLM，Ollama，更快的Whisper，Infinity）
✉通過消息集成（Kafka，PubSub等）通過消息/批處理推理

社區的行情：

可重複使用，抽象的解決方案運行LLM -Mike Ensor

建築學

Kubeai提供兼容的HTTP API。管理員可以通過kind: Model Kubernetes自定義資源。可以將Kubeai視為管理VLLM和Ollama服務器的模型操作員（請參閱操作員模式）。

本地Quickstart

kubeai-quickstart-demo.mp4

使用善良或Minikube創建本地群集。

提示：如果您正在使用Podman進行友善...

確保您的Podman機器最多可以使用6克內存（默認情況下，它封頂為2G）：

 # You might need to stop and remove the existing machine:
podman machine stop
podman machine rm

# Init and start a new machine:
podman machine init --memory 6144 --disk-size 120
podman machine start

kind create cluster # OR: minikube start

添加Kubeai Helm存儲庫。

helm repo add kubeai https://www.kubeai.org
helm repo update

安裝Kubeai並等待所有組件準備就緒（可能需要一分鐘）。

helm install kubeai kubeai/kubeai --wait --timeout 10m

安裝一些預定義的型號。

cat << EOF > kubeai-models.yaml
catalog:
  gemma2-2b-cpu:
    enabled: true
    minReplicas: 1
  qwen2-500m-cpu:
    enabled: true
  nomic-embed-text-cpu:
    enabled: true
EOF

helm install kubeai-models kubeai/models 
    -f ./kubeai-models.yaml

在進行下一步之前，請在獨立終端中的豆莢上啟動手錶，以了解Kubeai如何部署模型。

kubectl get pods --watch

與gemma2相互作用

因為我們將minReplicas: 1對於Gemma模型，您應該看到已經出現的模型POD。

開始捆綁的聊天UI的本地港口。

kubectl port-forward svc/openwebui 8000:80

現在，將瀏覽器打開到Localhost：8000，然後選擇開始與之聊天的Gemma模型。

從零擴展QWEN2

如果您返回瀏覽器並與QWEN2聊天，您會注意到首先需要一段時間才能做出響應。這是因為我們設置了minReplicas: 0對於此模型，Kubeai需要旋轉一個新的POD（您可以使用kubectl get models -oyaml qwen2-500m-cpu進行驗證。

文件

在kubeai.org上查看我們的文檔，以查找有關：

在雲中安裝kubeai
如何指導（例如如何管理模型和資源配置文件）。
概念（Kubeai的組成部分如何起作用）。
如何貢獻

採用者

已知採用者清單：

姓名	描述	關聯
望遠鏡	望遠鏡使用kubeai進行多區域大規模批次LLM推理。	trytelescope.ai
Google雲分佈式邊緣	Kubeai作為參考體系結構包括在邊緣推斷。	LinkedIn，Gitlab
Lambda	您可以在Lambda AI開發人員雲上嘗試Kubeai。請參閱Lambda的教程和視頻。	Lambda

如果您使用的是kubeai，並且希望被列為採用者，請進行公關。

OpenAI API兼容性

 # Implemented #
/v1/chat/completions
/v1/completions
/v1/embeddings
/v1/models
/v1/audio/transcriptions

# Planned #
# /v1/assistants/*
# /v1/batches/*
# /v1/fine_tuning/*
# /v1/images/*
# /v1/vector_stores/*