HOPSWORKS是具有以Python为中心的功能商店和MLOPS功能的ML的数据平台。 Hopsworks是一个模块化平台。您可以将其用作独立的功能商店,可以使用它来管理,管理和服务模型,甚至可以使用它来开发和操作功能管道和培训管道。 HopsWorks为ML团队提供了协作,为开发,管理和共享ML资产的安全,管理,模型,培训数据,批分数据,日志等提供了一个安全的管理平台。
HOPSWORKS可作为无服务器应用程序可用,只需转到app.hopsworks.ai并在您的gmail或github帐户中注册。然后,您将能够直接运行教程或访问Hopsworks并尝试一下。这是在潜入更高级的用途和安装要求之前首先体验平台的首选方法。
托管Hopsworks是我们运行Hopsworks和云中的功能存储的平台,并直接与客户AWS/Azure/GCP环境集成。它还与Databricks,SageMaker和KubeFlow等第三方平台无缝集成。
如果您想在Azure,AWS或GCP环境上运行Hopsworks,请遵循我们的文档中的以下指南之一:
AWS指南
Azure指南
GCP指南
可以使用Hopsworks在本地使用Hopsworks,这意味着公司可以在自己的硬件和基础架构上运行其机器学习工作负载,而不是依靠云提供商。这可以提供更大的灵活性,控制和成本节省,并使公司能够满足特定的合规性和安全要求。
与Hopsworks一起在本地工作通常涉及与Hopsworks工程团队的协作,因为每个基础架构都是独一无二的,并且需要针对部署和配置进行量身定制的方法。该过程始于对公司现有的基础架构和要求的评估,包括网络拓扑,安全策略和硬件规格。
有关本地安装的更多详细信息:与我们联系。
您至少需要一台服务器或虚拟机,其中将在其中安装Hopsworks至少以下规范:
Centos/Rhel 8.x或Ubuntu 22.04;
至少32GB RAM,
至少8个CPU,
100 GB的免费硬盘空间,
带有Sudo特权的Unix用户帐户。
HOPSWORKS文档包括用户指南,功能存储文档和管理指南。我们还包括帮助用户浏览功能存储和MLOP的抽象和逻辑的概念:
功能商店: https://docs.hopsworks.ai/3.0/concepts/fs/
项目: https://docs.hopsworks.ai/3.0/concepts/projects/governance/
MLOPS: https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
HOPSWORKS API文档分为三类; HOPSWORKS API涵盖项目级别API,功能存储API涵盖功能组,功能视图和连接器,最后MLOPS API涵盖模型注册表,服务和部署。
hopsworks api -https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
功能商店API -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
MLOPS API -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection/connection_api/
大多数教程要求您至少在app.hopsworks.ai上拥有一个帐户。您可以探索专用的https://github.com/logicalclocks/hopsworks-tutorials存储库,其中包含我们的教程或直接在现有用例之一中跳跃:
欺诈(批次):https://github.com/logicalclocks/hopsworks-tutorials/tree/master/master/fraud_batch
欺诈(在线):https://github.com/logicalclocks/hopsworks-tutorials/tree/master/master/fraud_online
搅动预测https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
Hopsworks将项目作为安全的沙箱,在其中团队可以在其中协作和共享ML资产。 Hopsworks独特的多租户项目模型甚至可以使敏感数据存储在共享群集中,同时仍为项目边界跨项目的ML资产提供细粒度的共享功能。项目可用于构建团队,以便他们从原始数据到托管功能和模型的端到端责任。项目还可以用于为数据团队创建开发,分期和生产环境。所有ML资产支持版本管理,血统和出处都为所有啤酒花用户提供了MLOPS生命周期的完整视图,从功能工程到模型服务。
HOPSWORKS为数据科学提供开发工具,包括用于Python的Conda环境,Jupyter笔记本电脑,作业甚至笔记本作为工作。您可以使用捆绑的气流来构建生产管道,甚至可以使用gpus在气流上的笔记本中运行ML训练管道。您可以在Hopsworks群集中安装的尽可能多的GPU上培训模型,并在用户中轻松共享它们。您还可以在HOPSWORKS上运行Spark,Spark流或Flink程序,并支持云中的弹性工人(动态添加/删除工人)。
HOPSWORKS可以作为AWS,Azure和GCP的云中的托管平台可用,并且可以安装在任何基于Linux的虚拟机(Ubuntu/Redhat兼容)上,即使在空调数据中心也可以安装。 HOPSWORKS也可以作为无服务器平台提供,可管理并为您的功能和型号提供服务。
我们正在建立市场上最完整,最模块化的ML平台,我们依靠您的支持来不断改善啤酒花。随时为我们提供建议,报告错误并随时向我们的图书馆添加功能。
提出问题并在霍普斯沃(Hopsworks)社区中给我们反馈
加入我们的公共休闲频道
在Twitter上关注我们
查看我们所有最新产品版本
HOPSWORKS可根据AGPL-V3许可证获得。用简单的英语,这意味着您可以自由使用啤酒花工程,甚至可以在其上构建付费服务,但是如果您修改源代码,则还应释放更改以及围绕它构建的任何系统作为AGPL-V3。