llm starter pack

雲端原生 LLM 入門包

先決條件

• 碼頭工人
• 種類
  • kind 是“Docker 中的 Kubernetes”，Kubernetes 專案使用它來幫助測試功能和運行整合測試。事實證明，這對任何人來說都是一種快速啟動叢集的便捷方法。非常感謝@bentheelder 開發它？ ??
• 庫貝克特爾
  • kubectl 是您使用命令列與 k8s 互動的方式。這可以讓你成為一個 k8s 耳​​語者 :-)

啟動

我們精心製作了一些腳本，以便在您安裝了先決條件後，可以盡快在您的電腦上執行此演示。

該腳本將：

• 創建一個善良的集群
• 應用 LLM 聊天機器人簡報所需的 Kubernetes 清單
• 使用連接埠轉送幫助我們在瀏覽器中存取我們的服務，以便我們可以詢問 LLM 問題

注意：應用 Kubernetes 清單後，我們的叢集將花費約 3-4 分鐘下載映像、初始化 LLM 並啟動應用程式。您可以透過執行kubectl get pods來監控 pod 的狀態

./startup.sh

示範

接下來，我們可以安裝使用 LLM 的示範應用程式。

./demo.sh

如果您只想刪除或拆除演示應用程序，您可以運行

./teardown.sh

關閉

若要關閉演示，請執行以下命令，該命令將：

• 刪除 Kubernetes 清單
• 刪除連接埠轉發
• 刪除種類簇

./shutdown.sh

作業系統資訊

該演示已經在以下作業系統上進行了測試，如果您安裝了先決條件，則可以運行。

• macOS
• Linux
• 視窗

確認

這些圖片均使用 sigstore 的聯合簽名進行簽署。您可以從此儲存庫下載cosign.pub金鑰並執行以下命令來驗證簽章：

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

如果您要分叉此儲存庫，您應該閱讀 github 中有關保密的文件。您需要使用cosign產生新的金鑰對。公鑰可以位於您的公共儲存庫中（您的用戶需要它來檢查簽名），您可以將私鑰貼到「設定」->「秘密」->「操作」中。

致謝

我們要感謝 Docker 與我們分享他們的 GenAI Stack 演示。我們使用他們的演示作為此演示的起點。您可以在這裡找到他們的演示。

我們也要感謝 Weaveworks 的 Weaveworks Scope 項目，我們使用該項目來幫助視覺化 Kubernetes 叢集。您可以在這裡找到他們的項目。