beta9

---

La plateforme cloud pour l'IA générative

Exécutez des charges de travail GPU sans serveur avec des démarrages à froid rapides sur des serveurs nus, partout dans le monde

---

Anglais | 简体中文 | 繁體中文 | Turc | हिंदी | Português (Brésil) | Italien | espagnol | 한국어 | 日本語

---

Caractéristiques

• Exécutez des charges de travail sans serveur à l'aide d'une interface Python conviviale
• Mise à l'échelle automatique et mise à l'échelle automatique jusqu'à zéro
• Lisez des fichiers volumineux en périphérie grâce au stockage distribué entre régions
• Connectez des nœuds nus à votre cluster avec une seule commande cURL
• Gérez votre flotte de serveurs à l'aide d'un maillage de services optimisé par Tailscale
• Exécutez en toute sécurité des charges de travail avec un chiffrement de bout en bout via WireGuard

Comment ça marche ?

Exécutez des charges de travail d'IA sans serveur

Ajoutez un décorateur endpoint à votre code et vous obtiendrez un point de terminaison HTTP à charge équilibrée (avec authentification !) pour appeler votre code.

Vous pouvez également exécuter des fonctions de longue durée avec @function , déployer des files d'attente de tâches à l'aide de @task_queue et planifier des tâches avec @schedule :

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

Déployez avec une seule commande :

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

Exécutez sur des serveurs Bare Metal dans le monde entier

Connectez n'importe quel GPU à votre cluster avec une commande CLI et un cURL.

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

Vous pouvez exécuter ce script d'installation sur votre VM pour la connecter à votre cluster.

Gérez votre flotte de CPU ou GPU

Gérez votre cluster interrégional distribué à l'aide d'un plan de contrôle centralisé.

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |

Installation locale

Vous pouvez exécuter Beta9 localement ou dans un cluster Kubernetes existant à l'aide de notre charte Helm.

Configuration du serveur

k3d est utilisé pour le développement local. Vous aurez besoin de Docker pour commencer.

Pour utiliser notre configuration entièrement automatisée, exécutez la setup make target.

make setup

Configuration du SDK

Le SDK est écrit en Python. Vous aurez besoin de Python 3.8 ou supérieur. Utilisez la cible make setup-sdk pour commencer.

make setup-sdk

Utiliser le SDK

Après avoir configuré le serveur et le SDK, consultez le fichier Lisez-moi du SDK ici.

Contribuer

Nous acceptons les contributions, grandes ou petites. Voici les choses les plus utiles pour nous :

• Soumettre une demande de fonctionnalité ou un rapport de bug
• Ouvrir un PR avec une nouvelle fonctionnalité ou une amélioration

Communauté et assistance

Si vous avez besoin d'aide, vous pouvez nous contacter via l'un de ces canaux :

• Slack (Chat en direct avec les responsables et les membres de la communauté)
• Problèmes GitHub (rapports de bogues, demandes de fonctionnalités et tout ce qui concerne la feuille de route)
• Twitter (mises à jour sur les versions et plus)

Merci à nos contributeurs