beta9下載 - beta9原始碼下載

beta9

其他源碼

Worker: 0.1.247

下載

生成式人工智慧雲端平台

在世界任何地方的裸機伺服器上透過快速冷啟動運行無伺服器 GPU 工作負載

測試通過

英語 | 簡體中文 | 繁體中文 |土耳其 | हिंदी |葡萄牙語（巴西）|義大利 |西班牙語 | 한국어 | 日本語

特徵

使用友善的 Python 介面運行無伺服器工作負載
自動縮放和自動縮放至零
使用分散式跨區域儲存在邊緣讀取大文件
使用單一 cURL 命令將裸機節點連接到集群
使用 Tailscale 支援的服務網格管理您的伺服器群
透過 WireGuard 進行端對端加密，安全運行工作負載

它是如何運作的？

運行無伺服器 AI 工作負載

將endpoint裝飾器新增到您的程式碼中，您將獲得一個負載平衡的 HTTP 端點（帶有身份驗證！）來呼叫您的程式碼。

您也可以使用@function運行長時間運行的函數，使用@task_queue部署任務佇列，並使用@schedule排程作業：

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

使用單一命令進行部署：

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

在世界各地的裸機伺服器上運行

使用一個 CLI 命令和一個 cURL 將任何 GPU 連接到您的叢集。

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

您可以在虛擬機器上執行此安裝腳本以將其連接到叢集。

管理您的 CPU 或 GPU 佇列

使用集中控制平面管理分散式跨區域群集。

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |