beta9
Worker: 0.1.247
世界中のどこにいても、ベアメタル サーバー上で高速コールド スタートによりサーバーレス GPU ワークロードを実行します。
英語 | 简体中文 | 繁體中文 |テュルクチェ | हिंदी |ポルトガル語 (ブラジル) |イタリアーノ |スペイン語 | 한국어 | 日本語
endpointデコレーターをコードに追加すると、コードを呼び出すための負荷分散された HTTP エンドポイント (認証付き!) が得られます。
@functionを使用して長時間実行関数を実行したり、 @task_queueを使用してタスク キューをデプロイしたり、 @scheduleを使用してジョブをスケジュールしたりすることもできます。
from beta9 import endpoint
# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
return i ** 2単一のコマンドでデプロイします。
$ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?
curl -X POST 'https://inference.beam.cloud/v1'
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]'
-H 'Content-Type: application/json'
-d '{}'
1 つの CLI コマンドと cURL を使用して、任意の GPU をクラスターに接続します。
$ beta9 machine create --pool lambda-a100-40
= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:
#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent &&
sudo chmod +x agent &&
sudo ./agent --token " AUTH_TOKEN "
--machine-id " 9541cbd2 "
--tailscale-url " "
--tailscale-auth " AUTH_TOKEN "
--pool-name " lambda-a100-40 "
--provider-name " lambda "VM 上でこのインストール スクリプトを実行して、VM をクラスターに接続できます。
一元化されたコントロール プレーンを使用して、分散クロスリージョン クラスターを管理します。
$ beta9 machine list
| ID | CPU | Memory | GPU | Status | Pool |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |
Beta9 はローカルで実行することも、Helm チャートを使用して既存の Kubernetes クラスターで実行することもできます。
k3d はローカル開発に使用されます。始めるには Docker が必要です。
完全に自動化されたセットアップを使用するには、 setup make target を実行します。
make setupSDK は Python で書かれています。 Python 3.8 以降が必要です。開始するには、 setup-sdk make target を使用します。
make setup-sdkサーバーと SDK をセットアップしたら、ここで SDK Readme を確認してください。
大小を問わず寄付を歓迎します。私たちにとって最も役立つものは次のとおりです。
サポートが必要な場合は、次のいずれかのチャネルを通じてご連絡ください。
