БентоМЛ

Единая платформа обслуживания моделей

? Создавайте API вывода моделей и многомодельные обслуживающие системы с любыми моделями искусственного интеллекта с открытым исходным кодом или собственными. Присоединяйтесь к нашему сообществу Slack!

Что такое БентоМЛ?

BentoML — это библиотека Python для создания систем онлайн-обслуживания, оптимизированных для приложений искусственного интеллекта и вывода моделей.

• ? Легко создавайте API для любой модели AI/ML. Превратите любой сценарий вывода модели в сервер REST API с помощью всего лишь нескольких строк кода и стандартных подсказок типов Python.
• ? Docker-контейнеры — это просто. Никакого ада зависимости! Управляйте своими средами, зависимостями и версиями моделей с помощью простого файла конфигурации. BentoML автоматически генерирует образы Docker, обеспечивает воспроизводимость и упрощает развертывание в различных средах.
• ? Максимизируйте загрузку ЦП/ГП. Создавайте высокопроизводительные API-интерфейсы вывода, используя встроенные функции оптимизации обслуживания, такие как динамическая пакетная обработка, параллелизм моделей, многоэтапный конвейер и оркестровка многомодельных графов вывода.
• ?‍ Полностью настраиваемый. Легко реализуйте свои собственные API или очереди задач с настраиваемой бизнес-логикой, выводом моделей и композицией нескольких моделей. Поддерживает любую среду машинного обучения, модальности и среду выполнения вывода.
• Готов к производству. Разрабатывайте, запускайте и отлаживайте локально. Беспрепятственное развертывание в рабочей среде с помощью контейнеров Docker или BentoCloud.

Начиная

Установите БентоМЛ:

 # Requires Python≥3.9
pip install -U bentoml

Определите API в файле service.py .

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

Запустите код службы локально (по умолчанию http://localhost:3000):

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

Теперь вы можете запустить вывод из браузера по адресу http://localhost:3000 или с помощью скрипта Python:

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

Развертывание вашего первого Bento

Чтобы развернуть код службы BentoML, сначала создайте файл bentofile.yaml , чтобы определить его зависимости и среды. Полный список вариантов бентофиле можно найти здесь.

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

Затем выберите один из следующих способов развертывания:

? Докер-контейнер

Запустите bentoml build , чтобы упаковать необходимый код, модели и конфигурации зависимостей в Bento — стандартизированный развертываемый артефакт в BentoML:

bentoml build

Убедитесь, что Docker запущен. Создайте образ контейнера Docker для развертывания:

bentoml containerize summarization:latest

Запустите сгенерированный образ:

docker run --rm -p 3000:3000 summarization:latest

☁️ БентоКлауд

BentoCloud предоставляет вычислительную инфраструктуру для быстрого и надежного внедрения GenAI. Это помогает ускорить процесс разработки BentoML, используя ресурсы облачных вычислений, а также упростить развертывание, масштабирование и эксплуатацию BentoML в производстве.

Зарегистрируйтесь в BentoCloud для личного доступа; для корпоративных случаев использования свяжитесь с нашей командой.

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy . 

Подробные объяснения можно найти в примере Hello World.

Примеры

• Магистр права: Лама 3.2, Микстрал, Солар и Мистраль.
• Генерация изображений: Stable Diffusion 3 Medium, Stable Video Diffusion, Stable Diffusion XL Turbo, ControlNet и LCM LoRA.
• Вложения: SentenceTransformers и ColPali
• Аудио: ChatTTS, XTTS, WhisperX, Bark
• Компьютерное зрение: YOLO и ResNet
• Расширенные примеры: вызов функций, LangGraph, CrewAI.

Ознакомьтесь с полным списком, чтобы узнать больше примеров кода и его использования.

Расширенные темы

• Состав модели
• Рабочие и распараллеливание моделей
• Адаптивная пакетная обработка
• Вывод графического процессора
• Распределенные обслуживающие системы
• Параллелизм и автоматическое масштабирование
• Загрузка модели и хранилище моделей
• Наблюдаемость
• Развертывание BentoCloud

Дополнительные руководства и руководства см. в документации.

Сообщество

Примите участие и присоединяйтесь к нашему сообществу Slack, где тысячи инженеров AI/ML помогают друг другу, вносят свой вклад в проект и рассказывают о создании продуктов AI.

Чтобы сообщить об ошибке или предложить новую функцию, используйте GitHub Issues.

Содействие

Есть много способов внести свой вклад в проект:

• Сообщайте об ошибках и ставьте лайки по вопросам, которые вас интересуют.
• Исследуйте проблемы и просматривайте запросы на включение других разработчиков.
• Добавьте в проект код или документацию, отправив запрос на извлечение GitHub.
• Чтобы узнать больше, ознакомьтесь с Руководством для участников и Руководством по разработке.
• Поделитесь своими отзывами и обсудите планы развития на канале #bentoml-contributors здесь.

Спасибо всем нашим замечательным участникам!

Отслеживание использования и обратная связь

Платформа BentoML собирает анонимные данные об использовании, которые помогают нашему сообществу улучшать продукт. Сообщается только о внутренних вызовах API BentoML. При этом исключается любая конфиденциальная информация, такая как пользовательский код, данные модели, названия моделей или трассировки стека. Вот код, используемый для отслеживания использования. Вы можете отказаться от отслеживания использования с помощью опции CLI --do-not-track :

bentoml [command] --do-not-track

Или установив переменную среды:

 export BENTOML_DO_NOT_TRACK=True

Лицензия

Лицензия Апач 2.0