beta9

---

生成式人工智能云平台

在世界任何地方的裸机服务器上通过快速冷启动运行无服务器 GPU 工作负载

---

英语 | 简体中文 | 繁体中文 |土耳其 | हिंदी |葡萄牙语（巴西）|意大利 |西班牙语 | 한국어 | 日本语

---

特征

• 使用友好的 Python 界面运行无服务器工作负载
• 自动缩放和自动缩放至零
• 使用分布式跨区域存储在边缘读取大文件
• 使用单个 cURL 命令将裸机节点连接到集群
• 使用 Tailscale 支持的服务网格管理您的服务器群
• 通过 WireGuard 进行端到端加密，安全运行工作负载

它是如何运作的？

运行无服务器 AI 工作负载

将endpoint装饰器添加到您的代码中，您将获得一个负载平衡的 HTTP 端点（带有身份验证！）来调用您的代码。

您还可以使用@function运行长时间运行的函数，使用@task_queue部署任务队列，并使用@schedule安排作业：

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

使用单个命令进行部署：

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

在世界各地的裸机服务器上运行

使用一个 CLI 命令和一个 cURL 将任何 GPU 连接到您的集群。

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

您可以在虚拟机上运行此安装脚本以将其连接到集群。

管理您的 CPU 或 GPU 队列

使用集中控制平面管理分布式跨区域集群。

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |

本地安装

您可以在本地运行 Beta9，也可以使用我们的 Helm 图表在现有 Kubernetes 集群中运行。

设置服务器

k3d用于本地开发。您需要 Docker 才能开始。

要使用我们的全自动设置，请运行setup make 目标。

make setup

设置 SDK

SDK是用Python编写的。您需要 Python 3.8 或更高版本。使用setup-sdk make 目标开始。

make setup-sdk

使用SDK

设置服务器和 SDK 后，请在此处查看 SDK 自述文件。

贡献

我们欢迎大大小小的贡献。这些是对我们最有帮助的事情：

• 提交功能请求或错误报告
• 使用新功能或改进创建 PR

社区与支持

如果您需要支持，可以通过以下任一渠道联系：

• Slack（与维护者和社区成员实时聊天）
• GitHub 问题（错误报告、功能请求以及任何与路线图相关的内容）
• Twitter（版本更新等）

感谢我们的贡献者