beta9

Kode sumber lainnya

Worker: 0.1.247

Unduh

logo

Platform Cloud untuk AI Generatif

Jalankan beban kerja GPU tanpa server dengan cold start yang cepat di server bare-metal, di mana pun di dunia

Lulus Ujian

Fitur

Jalankan beban kerja tanpa server menggunakan antarmuka Python yang ramah
Penskalaan otomatis dan skala otomatis ke nol
Baca file besar di edge menggunakan penyimpanan lintas wilayah yang terdistribusi
Hubungkan node bare-metal ke klaster Anda dengan satu perintah cURL
Kelola armada server Anda menggunakan mesh layanan bertenaga Tailscale
Jalankan beban kerja dengan aman dengan enkripsi ujung ke ujung melalui WireGuard

Bagaimana cara kerjanya?

Jalankan Beban Kerja AI Tanpa Server

Tambahkan dekorator endpoint ke kode Anda, dan Anda akan mendapatkan titik akhir HTTP dengan beban seimbang (dengan autentikasi!) untuk memanggil kode Anda.

Anda juga dapat menjalankan fungsi yang sudah berjalan lama dengan @function , menyebarkan antrian tugas menggunakan @task_queue , dan menjadwalkan pekerjaan dengan @schedule :

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

Terapkan dengan satu perintah:

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

Jalankan di Server Bare-Metal di Seluruh Dunia

Hubungkan GPU apa pun ke cluster Anda dengan satu perintah CLI dan cURL.

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

Anda dapat menjalankan skrip instalasi ini di VM Anda untuk menghubungkannya ke cluster Anda.

Kelola Armada CPU atau GPU Anda

Kelola kluster lintas wilayah terdistribusi Anda menggunakan sarana kontrol terpusat.

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |

Instalasi Lokal

Anda dapat menjalankan Beta9 secara lokal, atau di cluster Kubernetes yang sudah ada menggunakan diagram Helm kami.

Menyiapkan Server

k3d digunakan untuk pengembangan lokal. Anda memerlukan Docker untuk memulai.

Untuk menggunakan penyiapan kami yang sepenuhnya otomatis, jalankan target pembuatan setup .

make setup

Menyiapkan SDK

SDK ini ditulis dengan Python. Anda memerlukan Python 3.8 atau lebih tinggi. Gunakan setup-sdk make target untuk memulai.

make setup-sdk

Menggunakan SDK

Setelah Anda menyiapkan server dan SDK, lihat SDK readme di sini.

Berkontribusi

Kami menerima kontribusi besar atau kecil. Ini adalah hal yang paling bermanfaat bagi kami:

Kirimkan permintaan fitur atau laporan bug
Buka PR dengan fitur atau peningkatan baru

Komunitas & Dukungan

Jika Anda memerlukan dukungan, Anda dapat menghubungi melalui salah satu saluran berikut:

Slack (Obrolan langsung dengan pengelola dan anggota komunitas)
Masalah GitHub (Laporan bug, permintaan fitur, dan peta jalan apa pun yang terkait)
Twitter (Pembaruan tentang rilis dan lainnya)