beta9

Anderer Quellcode

Worker: 0.1.247

Herunterladen

Logo

Die Cloud-Plattform für generative KI

Führen Sie serverlose GPU-Workloads mit schnellen Kaltstarts auf Bare-Metal-Servern überall auf der Welt aus

Prüfungen bestanden

Merkmale

Führen Sie serverlose Workloads über eine benutzerfreundliche Python-Schnittstelle aus
Autoskalierung und automatische Skalierung auf Null
Lesen Sie große Dateien am Edge mithilfe verteilter, regionsübergreifender Speicherung
Verbinden Sie Bare-Metal-Knoten mit einem einzigen cURL-Befehl mit Ihrem Cluster
Verwalten Sie Ihre Serverflotte mit einem Tailscale-basierten Service Mesh
Führen Sie Workloads sicher mit Ende-zu-Ende-Verschlüsselung über WireGuard aus

Wie funktioniert es?

Führen Sie serverlose KI-Workloads aus

Fügen Sie Ihrem Code einen endpoint -Dekorator hinzu, und Sie erhalten einen HTTP-Endpunkt mit Lastenausgleich (mit Authentifizierung!) zum Aufrufen Ihres Codes.

Sie können auch lang laufende Funktionen mit @function ausführen, Aufgabenwarteschlangen mit @task_queue bereitstellen und Jobs mit @schedule planen:

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

Mit einem einzigen Befehl bereitstellen:

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

Läuft auf Bare-Metal-Servern auf der ganzen Welt

Verbinden Sie jede GPU mit einem CLI-Befehl und einer cURL mit Ihrem Cluster.

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

Sie können dieses Installationsskript auf Ihrer VM ausführen, um sie mit Ihrem Cluster zu verbinden.

Verwalten Sie Ihre CPU- oder GPU-Flotte

Verwalten Sie Ihren verteilten, überregionalen Cluster mithilfe einer zentralen Steuerungsebene.

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |

Lokale Installation

Sie können Beta9 lokal oder in einem vorhandenen Kubernetes-Cluster mithilfe unseres Helm-Charts ausführen.

Einrichten des Servers

k3d wird für die lokale Entwicklung verwendet. Zum Einstieg benötigen Sie Docker.

Um unser vollautomatisches Setup zu nutzen, führen Sie das setup make target aus.

make setup

Einrichten des SDK

Das SDK ist in Python geschrieben. Sie benötigen Python 3.8 oder höher. Verwenden Sie zum Einstieg das Make-Ziel setup-sdk .

make setup-sdk

Verwendung des SDK

Nachdem Sie den Server und das SDK eingerichtet haben, lesen Sie hier die SDK-Readme-Datei.

Mitwirken

Wir freuen uns über große und kleine Beiträge. Das sind für uns die hilfreichsten Dinge:

Senden Sie eine Funktionsanfrage oder einen Fehlerbericht
Öffnen Sie eine PR mit einer neuen Funktion oder Verbesserung

Gemeinschaft und Support

Wenn Sie Unterstützung benötigen, können Sie sich über einen dieser Kanäle an uns wenden:

Slack (Live-Chat mit Betreuern und Community-Mitgliedern)
GitHub-Probleme (Fehlerberichte, Funktionsanfragen und alles, was mit der Roadmap zu tun hat)
Twitter (Updates zu Veröffentlichungen und mehr)