llm starter pack

云原生 LLM 入门包

先决条件

• 码头工人
• 种类
  • kind 是“Docker 中的 Kubernetes”，Kubernetes 项目使用它来帮助测试功能和运行集成测试。事实证明，这对于任何人来说都是一种快速启动集群的便捷方法。非常感谢@bentheelder 开发它？ ??
• 库贝克特尔
  • kubectl 是您使用命令行与 k8s 交互的方式。这可以让你成为一个 k8s 耳​​语者 :-)

启动

我们精心制作了一些脚本，以便在您安装了先决条件后，可以尽快在您的计算机上运行此演示。

该脚本将：

• 创建一个善良的集群
• 应用 LLM 聊天机器人演示所需的 Kubernetes 清单
• 使用端口转发帮助我们在浏览器中访问我们的服务，以便我们可以询问 LLM 问题

注意：应用 Kubernetes 清单后，我们的集群将花费大约 3-4 分钟来下载映像、初始化 LLM 并启动应用程序。您可以通过运行kubectl get pods来监控 pod 的状态

./startup.sh

演示

接下来，我们可以安装使用 LLM 的演示应用程序。

./demo.sh

如果您只想删除或拆除演示应用程序，您可以运行

./teardown.sh

关闭

要关闭演示，请运行以下命令，该命令将：

• 删除 Kubernetes 清单
• 删除端口转发
• 删除种类簇

./shutdown.sh

操作系统信息

该演示已经在以下操作系统上进行了测试，如果您安装了先决条件，则可以运行。

• macOS
• Linux
• 视窗

确认

这些图像均使用 sigstore 的联合签名进行签名。您可以通过从此存储库下载cosign.pub密钥并运行以下命令来验证签名：

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

如果您要分叉此存储库，您应该阅读 github 中有关保密的文档。您需要使用cosign生成新的密钥对。公钥可以位于您的公共存储库中（您的用户需要它来检查签名），您可以将私钥粘贴到“设置”->“秘密”->“操作”中。

致谢

我们要感谢 Docker 与我们分享他们的 GenAI Stack 演示。我们使用他们的演示作为此演示的起点。您可以在这里找到他们的演示。

我们还要感谢 Weaveworks 的 Weaveworks Scope 项目，我们使用该项目来帮助可视化 Kubernetes 集群。您可以在这里找到他们的项目。