beta9

ซอร์สโค้ดอื่น ๆ

Worker: 0.1.247

ดาวน์โหลด

โลโก้

แพลตฟอร์มคลาวด์สำหรับ Generative AI

รันปริมาณงาน GPU แบบไร้เซิร์ฟเวอร์ด้วย Cold Start ที่รวดเร็วบนเซิร์ฟเวอร์ Bare-Metal ทุกที่ในโลก

การทดสอบที่ผ่าน

คุณสมบัติ

รันปริมาณงานแบบไร้เซิร์ฟเวอร์โดยใช้อินเทอร์เฟซ Python ที่เป็นมิตร
การปรับขนาดอัตโนมัติและการปรับขนาดอัตโนมัติเป็นศูนย์
อ่านไฟล์ขนาดใหญ่ที่ Edge โดยใช้พื้นที่จัดเก็บแบบกระจายและข้ามภูมิภาค
เชื่อมต่อโหนด Bare Metal กับคลัสเตอร์ของคุณด้วยคำสั่ง cURL เดียว
จัดการกลุ่มเซิร์ฟเวอร์ของคุณโดยใช้ Service Mesh ที่ขับเคลื่อนโดย Tailscale
รันปริมาณงานอย่างปลอดภัยด้วยการเข้ารหัสจากต้นทางถึงปลายทางผ่าน WireGuard

มันทำงานอย่างไร?

รันปริมาณงาน AI แบบไร้เซิร์ฟเวอร์

เพิ่มตัวตกแต่ง endpoint ให้กับโค้ดของคุณ แล้วคุณจะได้รับจุดสิ้นสุด HTTP ที่สมดุลโหลด (พร้อมการรับรองความถูกต้อง!) เพื่อเรียกใช้โค้ดของคุณ

คุณยังสามารถเรียกใช้ฟังก์ชันที่ใช้เวลานานด้วย @function ปรับใช้คิวงานโดยใช้ @task_queue และกำหนดเวลางานด้วย @schedule :

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

ปรับใช้ด้วยคำสั่งเดียว:

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

ทำงานบนเซิร์ฟเวอร์ Bare-Metal ทั่วโลก

เชื่อมต่อ GPU เข้ากับคลัสเตอร์ของคุณด้วยคำสั่ง CLI และ cURL หนึ่งคำสั่ง

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

คุณสามารถเรียกใช้สคริปต์การติดตั้งนี้บน VM ของคุณเพื่อเชื่อมต่อกับคลัสเตอร์ของคุณได้

จัดการ CPU หรือ GPU Fleet ของคุณ

จัดการคลัสเตอร์ข้ามภูมิภาคแบบกระจายของคุณโดยใช้ระนาบควบคุมแบบรวมศูนย์

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |