beta9

---

La plataforma en la nube para la IA generativa

Ejecute cargas de trabajo de GPU sin servidor con arranques en frío rápidos en servidores sin sistema operativo, en cualquier parte del mundo

---

Inglés | 简体中文 | 繁體中文 | turco | हिंदी | Português (Brasil) | italiano | Español | 한국어 | 日本語

---

Características

• Ejecute cargas de trabajo sin servidor utilizando una interfaz amigable de Python
• Escalado automático y escalado automático a cero
• Lea archivos grandes en el perímetro mediante almacenamiento distribuido entre regiones
• Conecte nodos básicos a su clúster con un solo comando cURL
• Administre su flota de servidores utilizando una malla de servicios impulsada por Tailscale
• Ejecute cargas de trabajo de forma segura con cifrado de extremo a extremo a través de WireGuard

¿Cómo funciona?

Ejecute cargas de trabajo de IA sin servidor

Agregue un decorador endpoint a su código y obtendrá un punto final HTTP con equilibrio de carga (¡con autenticación!) para invocar su código.

También puedes ejecutar funciones de larga duración con @function , implementar colas de tareas usando @task_queue y programar trabajos con @schedule :

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

Implemente con un solo comando:

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

Ejecute en servidores bare-metal en todo el mundo

Conecte cualquier GPU a su clúster con un comando CLI y un cURL.

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

Puede ejecutar este script de instalación en su VM para conectarlo a su clúster.

Administre su flota de CPU o GPU

Administre su clúster distribuido entre regiones utilizando un plano de control centralizado.

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |

Instalación local

Puede ejecutar Beta9 localmente o en un clúster de Kubernetes existente utilizando nuestro gráfico Helm.

Configurando el servidor

k3d se utiliza para el desarrollo local. Necesitará Docker para comenzar.

Para utilizar nuestra configuración totalmente automatizada, ejecute la setup make target.

make setup

Configurar el SDK

El SDK está escrito en Python. Necesitará Python 3.8 o superior. Utilice setup-sdk make target para comenzar.

make setup-sdk

Usando el SDK

Después de haber configurado el servidor y el SDK, consulte el archivo Léame del SDK aquí.

Contribuyendo

Damos la bienvenida a contribuciones grandes o pequeñas. Estas son las cosas más útiles para nosotros:

• Enviar una solicitud de función o informe de error
• Abra un PR con una nueva característica o mejora

Comunidad y soporte

Si necesita ayuda, puede comunicarse con cualquiera de estos canales:

• Slack (Chatea en vivo con mantenedores y miembros de la comunidad)
• Problemas de GitHub (informes de errores, solicitudes de funciones y todo lo relacionado con la hoja de ruta)
• Twitter (Actualizaciones sobre lanzamientos y más)

Gracias a nuestros colaboradores