beta9

شفرة المصدر الأخرى

Worker: 0.1.247

تنزيل

الشعار

المنصة السحابية للذكاء الاصطناعي التوليدي

قم بتشغيل أحمال عمل وحدة معالجة الرسومات (GPU) بدون خادم مع عمليات تشغيل باردة سريعة على خوادم معدنية، في أي مكان في العالم

اجتياز الاختبارات

سمات

قم بتشغيل أحمال العمل بدون خادم باستخدام واجهة Python سهلة الاستخدام
القياس التلقائي والقياس التلقائي إلى الصفر
اقرأ الملفات الكبيرة على الحافة باستخدام التخزين الموزع عبر المناطق
قم بتوصيل العقد المعدنية العارية بمجموعتك باستخدام أمر cURL واحد
قم بإدارة أسطول الخوادم الخاص بك باستخدام شبكة خدمة مدعومة من Tailscale
قم بتشغيل أحمال العمل بشكل آمن مع التشفير الشامل من خلال WireGuard

كيف يعمل؟

قم بتشغيل أحمال عمل الذكاء الاصطناعي بدون خادم

أضف مصممًا endpoint إلى التعليمات البرمجية الخاصة بك، وستحصل على نقطة نهاية HTTP متوازنة التحميل (مع المصادقة!) لاستدعاء التعليمات البرمجية الخاصة بك.

يمكنك أيضًا تشغيل وظائف طويلة الأمد باستخدام @function ، ونشر قوائم انتظار المهام باستخدام @task_queue ، وجدولة المهام باستخدام @schedule :

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

النشر بأمر واحد:

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

تعمل على خوادم معدنية حول العالم

قم بتوصيل أي وحدة معالجة رسومات (GPU) بمجموعتك باستخدام أمر CLI واحد وcURL.

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

يمكنك تشغيل البرنامج النصي للتثبيت هذا على جهاز VM الخاص بك لتوصيله بمجموعتك.

إدارة وحدة المعالجة المركزية الخاصة بك أو أسطول GPU

قم بإدارة مجموعتك الموزعة عبر المناطق باستخدام مستوى تحكم مركزي.

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |