beta9

---

Облачная платформа для генеративного искусственного интеллекта

Выполняйте бессерверные рабочие нагрузки графического процессора с быстрым холодным запуском на физических серверах в любой точке мира.

---

английский | 简体中文 | 繁體中文 | тюркче | हिंदी | Португалия (Бразилия) | Итальяно | испанский | 한국어 | 日本語

---

Функции

• Запускайте бессерверные рабочие нагрузки с помощью дружественного интерфейса Python.
• Автомасштабирование и автоматическое масштабирование до нуля
• Чтение больших файлов на периферии с помощью распределенного межрегионального хранилища.
• Подключите узлы без операционной системы к вашему кластеру с помощью одной команды cURL.
• Управляйте своим парком серверов с помощью сервисной сети на базе Tailscale.
• Безопасное выполнение рабочих нагрузок с помощью сквозного шифрования с помощью WireGuard.

Как это работает?

Запускайте бессерверные рабочие нагрузки ИИ

Добавьте в свой код декоратор endpoint , и вы получите конечную точку HTTP с балансировкой нагрузки (с аутентификацией!) для вызова вашего кода.

Вы также можете запускать долго выполняющиеся функции с помощью @function , развертывать очереди задач с помощью @task_queue и планировать задания с помощью @schedule :

 from beta9 import endpoint


# This will run on a remote A100-40 in your cluster
@ endpoint ( cpu = 1 , memory = 128 , gpu = "A100-40" )
def square ( i : int ):
    return i ** 2

Развертывание с помощью одной команды:

 $ beta9 deploy app.py:square --name inference
=> Building image
=> Using cached image
=> Deployed ?

curl -X POST 'https://inference.beam.cloud/v1' 
-H 'Authorization: Bearer [YOUR_AUTH_TOKEN]' 
-H 'Content-Type: application/json' 
-d '{}'

Работайте на «голых» серверах по всему миру

Подключите любой графический процессор к вашему кластеру с помощью одной команды CLI и cURL.

$ beta9 machine create --pool lambda-a100-40

= > Created machine with ID: ' 9541cbd2 ' . Use the following command to set up the node:

#! /bin/bash
sudo curl -L -o agent https://release.beam.cloud/agent/agent && 
sudo chmod +x agent && 
sudo ./agent --token " AUTH_TOKEN " 
  --machine-id " 9541cbd2 " 
  --tailscale-url " " 
  --tailscale-auth " AUTH_TOKEN " 
  --pool-name " lambda-a100-40 " 
  --provider-name " lambda "

Вы можете запустить этот сценарий установки на своей виртуальной машине, чтобы подключить ее к кластеру.

Управляйте парком процессоров или графических процессоров

Управляйте своим распределенным межрегиональным кластером с помощью централизованной плоскости управления.

$ beta9 machine list

| ID       | CPU     | Memory     | GPU     | Status     | Pool        |
| ---------- | --------- | ------------ | --------- | ------------ | ------------- |
| edc9c2d2 | 30,000m | 222.16 GiB | A10G    | registered | lambda-a10g |
| d87ad026 | 30,000m | 216.25 GiB | A100-40 | registered | gcp-a100-40 |

Локальная установка

Вы можете запустить Beta9 локально или в существующем кластере Kubernetes, используя нашу диаграмму Helm.

Настройка сервера

k3d используется для локальной разработки. Для начала вам понадобится Docker.

Чтобы использовать нашу полностью автоматизированную установку, запустите setup make target.

make setup

Настройка SDK

SDK написан на Python. Вам понадобится Python 3.8 или выше. Для начала используйте команду setup-sdk make target.

make setup-sdk

Использование SDK

После настройки сервера и SDK ознакомьтесь с файлом сведений для SDK здесь.

Содействие

Мы приветствуем вклады большие или маленькие. Для нас это самое полезное:

• Отправьте запрос на добавление функции или отчет об ошибке
• Откройте PR с новой функцией или улучшением.

Сообщество и поддержка

Если вам нужна поддержка, вы можете обратиться по любому из этих каналов:

• Slack (чат в прямом эфире с сопровождающими и членами сообщества)
• Проблемы GitHub (отчеты об ошибках, запросы функций и все, что связано с дорожной картой)
• Twitter (обновления о выпусках и многое другое)

Спасибо нашим участникам