beta9

Outro código-fonte

Worker: 0.1.247

Baixar

Logotipo

A plataforma em nuvem para IA generativa

Execute cargas de trabalho de GPU sem servidor com inicializações a frio rápidas em servidores bare-metal, em qualquer lugar do mundo

Aprovação nos testes

Características

Execute cargas de trabalho sem servidor usando uma interface Python amigável
Escalonamento automático e escala automática para zero
Leia arquivos grandes na borda usando armazenamento distribuído entre regiões
Conecte nós bare-metal ao seu cluster com um único comando cURL
Gerencie sua frota de servidores usando uma malha de serviço com tecnologia Tailscale
Execute cargas de trabalho com segurança com criptografia de ponta a ponta por meio do WireGuard

Como funciona?

Execute cargas de trabalho de IA sem servidor

Adicione um decorador endpoint ao seu código e você obterá um endpoint HTTP com balanceamento de carga (com autenticação!) para invocar seu código.

Você também pode executar funções de longa duração com @function , implantar filas de tarefas usando @task_queue e agendar jobs com @schedule :

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

Implante com um único comando:

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

Execute em servidores Bare-Metal em todo o mundo

Conecte qualquer GPU ao seu cluster com um comando CLI e um cURL.

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

Você pode executar este script de instalação em sua VM para conectá-la ao cluster.

Gerencie sua frota de CPU ou GPU

Gerencie seu cluster distribuído entre regiões usando um plano de controle centralizado.

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |

Instalação Local

Você pode executar o Beta9 localmente ou em um cluster Kubernetes existente usando nosso gráfico Helm.

Configurando o Servidor

k3d é usado para desenvolvimento local. Você precisará do Docker para começar.

Para usar nossa configuração totalmente automatizada, execute o setup make target.

make setup

Configurando o SDK

O SDK é escrito em Python. Você precisará do Python 3.8 ou superior. Use o setup-sdk make target para começar.

make setup-sdk

Usando o SDK

Depois de configurar o servidor e o SDK, confira o leia-me do SDK aqui.

Contribuindo

Aceitamos contribuições grandes ou pequenas. Estas são as coisas mais úteis para nós:

Envie uma solicitação de recurso ou relatório de bug
Abra um PR com um novo recurso ou melhoria

Comunidade e suporte

Se precisar de suporte, você pode entrar em contato por meio de qualquer um destes canais:

Slack (bate-papo ao vivo com mantenedores e membros da comunidade)
Problemas do GitHub (relatórios de bugs, solicitações de recursos e qualquer coisa relacionada ao roteiro)
Twitter (atualizações sobre lançamentos e muito mais)