beta9

---

생성적 AI를 위한 클라우드 플랫폼

전 세계 어디에서나 베어메탈 서버에서 빠른 콜드 스타트를 통해 서버리스 GPU 워크로드를 실행하세요.

---

영어 | 简体中文 | 중국어 | 터키어 | 힌두교 | 포르투갈어(브라질) | 이탈리아노 | 스페인어 | 한국어 | 일본어

---

특징

• 친숙한 Python 인터페이스를 사용하여 서버리스 워크로드 실행
• 자동 확장 및 자동 0으로 축소
• 지역 간 분산 스토리지를 사용하여 엣지에서 대용량 파일 읽기
• 단일 cURL 명령을 사용하여 베어메탈 노드를 클러스터에 연결
• Tailscale 기반 서비스 메시를 사용하여 서버 전체를 관리하세요.
• WireGuard를 통한 엔드투엔드 암호화로 워크로드를 안전하게 실행

어떻게 작동하나요?

서버리스 AI 워크로드 실행

코드에 endpoint 데코레이터를 추가하면 코드를 호출하기 위한 로드 밸런싱된 HTTP 엔드포인트(인증 포함)를 얻게 됩니다.

@function 사용하여 장기 실행 함수를 실행하고, @task_queue 사용하여 작업 대기열을 배포하고, @schedule 사용하여 작업을 예약할 수도 있습니다.

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

단일 명령으로 배포:

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

전 세계 베어메탈 서버에서 실행

하나의 CLI 명령과 cURL을 사용하여 GPU를 클러스터에 연결하세요.

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

VM에서 이 설치 스크립트를 실행하여 클러스터에 연결할 수 있습니다.

CPU 또는 GPU 제품군 관리

중앙 집중식 제어 플레인을 사용하여 분산된 지역 간 클러스터를 관리합니다.

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |

로컬 설치

Beta9을 로컬로 실행하거나 Helm 차트를 사용하여 기존 Kubernetes 클러스터에서 실행할 수 있습니다.

서버 설정

k3d는 로컬 개발에 사용됩니다. 시작하려면 Docker가 필요합니다.

완전히 자동화된 설정을 사용하려면 setup make target을 실행하세요.

make setup

SDK 설정

SDK는 Python으로 작성되었습니다. Python 3.8 이상이 필요합니다. 시작하려면 setup-sdk make 대상을 사용하십시오.

make setup-sdk

SDK 사용

서버와 SDK를 설정한 후 여기에서 SDK 추가 정보를 확인하세요.

기여

우리는 크든 작든 기여를 환영합니다. 다음은 우리에게 가장 도움이 되는 사항입니다.

• 기능 요청 또는 버그 보고서 제출
• 새로운 기능이나 개선 사항이 포함된 PR을 엽니다.

커뮤니티 및 지원

지원이 필요한 경우 다음 채널 중 하나를 통해 문의할 수 있습니다.

• Slack(관리자 및 커뮤니티 구성원과 실시간 채팅)
• GitHub 문제(버그 보고서, 기능 요청 및 로드맵과 관련된 모든 것)
• Twitter(릴리스 업데이트 등)

기여자들에게 감사드립니다