hopsworks

Что такое Hopsworks?

Hopsworks-это платформа для ML с ориентированным на Python Store Store и возможностями MLOPS. Hopsworks - это модульная платформа. Вы можете использовать его в качестве автономного магазина функций, вы можете использовать его для управления, управления и обслуживать свои модели, и вы даже можете использовать его для разработки и эксплуатации функций трубопроводов и тренировочных трубопроводов. Hopsworks обеспечивает сотрудничество для команд ML, обеспечивая безопасную, управляемую платформу для разработки, управления и обмена активами ML - функции, моделей, данных обучения, данных о зачислении на пакет, журналов и многого другого.

QuickStart

Приложение - Serverless (бета)

→ Перейти на app.hopsworks.ai

Hopsworks доступен в качестве приложения без сервера, просто отправляйтесь на app.hopsworks.ai и зарегистрируйтесь на своих учетных записях Gmail или Github . Затем вы сможете запустить учебник или получить доступ к Hopsworks напрямую и попробовать себя. Это предпочтительный способ сначала испытать платформу, прежде чем погрузиться в более продвинутые использование и требования к установке.

Azure, AWS & GCP

Managed Hopsworks - это наша платформа для управления Hopsworks, а магазин функций в облаке и непосредственно интегрируется с средой AWS/Azure/GCP клиента. Он также легко интегрируется со сторонними платформами, такими как DataBricks, SageMaker и Kubeflow.

Если вы хотите запустить Hopsworks в своей среде Azure, AWS или GCP, следуйте одному из следующих руководств в нашей документации:

• AWS Guide

• Руководство по лазуре

• GCP Guide

Установщик - локальный

Можно использовать локальные Hopsworks, что означает, что компании могут запускать свои рабочие нагрузки машинного обучения на собственном оборудовании и инфраструктуре, а не полагаться на облачный провайдер. Это может обеспечить большую гибкость, контроль и экономию средств, а также позволить компаниям соответствовать конкретным требованиям соответствия и безопасности.

Работа в гостях с Hopsworks, как правило, включает в себя сотрудничество с инженерными группами Hopsworks, поскольку каждая инфраструктура является уникальной и требует адаптированного подхода к развертыванию и конфигурации. Процесс начинается с оценки существующей инфраструктуры и требований компании, включая топологию сети, политики безопасности и спецификации оборудования.

Для получения дополнительной информации о локальных установках: свяжитесь с нами.

Требования

Вам нужен хотя бы один сервер или виртуальная машина, на которой будут установлены Hopsworks, по крайней мере, со следующей спецификацией:

• Centos/Rhel 8.x или Ubuntu 22.04;

• не менее 32 ГБ ОЗУ,

• не менее 8 процессоров,

• 100 ГБ свободного места жесткого диска,

• Учетная запись пользователя UNIX с привилегиями SUDO.

Документация и API

Документация

Документация Hopsworks включает в себя руководства пользователя, документацию по магазинам и руководство по администрированию. Мы также включаем концепции, которые помогут пользователю навигать на абстракции и логику магазинов функций и MLOP в целом:

• Магазин функций: https://docs.hopsworks.ai/3.0/concepts/fs/

• Проекты: https://docs.hopsworks.ai/3.0/concepts/projects/governance/

• Mlops: https://docs.hopsworks.ai/3.0/concepts/mlops/predictication_services/

Апис

Документация API Hopsworks разделена на 3 категории; API API Hopsworks охватывает API -интерфейсы на уровне проекта, обложки API функций API, виды функций и разъемы, и, наконец, MLOPS API охватывает реестр моделей, обслуживание и развертывание.

• Hopsworks API - https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/

• API магазина функций -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/

• MLOPS API -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection_api/

Учебные пособия

Большинство учебных пособий требуют, чтобы у вас была хотя бы учетная запись на app.hopsworks.ai. Вы можете изучить выделенный https://github.com/logicalclocks/hopsworks-tutorials, содержащий наши учебники или прыгать непосредственно в одном из существующих вариантов использования:

• Мошенничество (партия): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch

• Мошенничество (онлайн): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online

• Прогнозирование huttps://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn

Основные особенности

Многоцелевое и командное сотрудничество на основе проектов

Hopsworks предоставляет проекты как безопасную песочницу, в которой команды могут сотрудничать и делиться активами ML. Уникальная модель проекта Hopsworks даже позволяет хранить конфиденциальные данные в общем кластере, в то же время предоставляя мелкозернистые возможности обмена для активов ML по границам проектов. Проекты могут быть использованы для структуры команд, чтобы они несут самоуверенную ответственность от необработанных данных до управляемых функций и моделей. Проекты также могут быть использованы для создания среде разработки, постановки и производства для команд данных. Все версии поддержки активов ML -активы, линия и Provenance предоставляют всем пользователям Hopsworks полное представление о жизненном цикле MLOPS, от инженерии функций до модельной службы.

Разработка и операции

Hopsworks предоставляет инструменты разработки для науки о данных, в том числе среды Conda для Python, ноутбуков Jupyter, рабочих мест или даже ноутбуков в качестве рабочих мест. Вы можете построить производственные трубопроводы с помощью комплексного воздушного потока и даже запустить учебные трубопроводы ML с помощью графических процессоров в ноутбуках на воздушном потоке. Вы можете обучать модели на столько графических процессорах, сколько установлены в кластере Hopsworks, и легко делиться ими среди пользователей. Вы также можете запустить программы Spark, Spark Streaming или Flink на Hopsworks, при поддержке упругих работников в облаке (динамически добавить/удалять работников).

Доступно на любой платформе

Hopsworks доступен в качестве управляемой платформы в облаке на AWS, Azure и GCP, и может быть установлен на любые виртуальные машины на основе Linux (совместимые с Ubuntu/Redhat), даже в воздушных центрах обработки данных. Hopsworks также доступен в качестве платформы без серверов, которая управляет и обслуживает как ваши функции, так и модели.

Сообщество

Способствовать

Мы строим самую полную и модульную платформу ML, доступную на рынке, и рассчитываем на вашу поддержку, чтобы постоянно улучшать Hopsworks. Не стесняйтесь давать нам предложения, сообщать об ошибках и добавлять функции в нашу библиотеку в любое время.

Присоединяйтесь к сообществу

• Задайте вопросы и дайте нам отзывы в сообществе Hopsworks

• Присоединяйтесь к нашему общественному каналу Slack

• Следите за нами в Твиттере

• Проверьте все наши последние выпуски продуктов

Открытый исходный конец

Hopsworks доступен по лицензии AGPL-V3 . На простом английском языке это означает, что вы можете использовать Hopsworks и даже создавать на нем платные услуги, но если вы измените исходный код, вы также должны отпустить свои изменения и любые системы, созданные вокруг него как AGPL-V3.