HOPSWORKS是具有以Python為中心的功能商店和MLOPS功能的ML的數據平台。 Hopsworks是一個模塊化平台。您可以將其用作獨立的功能商店,可以使用它來管理,管理和服務模型,甚至可以使用它來開發和操作功能管道和培訓管道。 HopsWorks為ML團隊提供了協作,為開發,管理和共享ML資產的安全,管理,模型,培訓數據,批分數據,日誌等提供了一個安全的管理平台。
HOPSWORKS可作為無服務器應用程序可用,只需轉到app.hopsworks.ai並在您的gmail或github帳戶中註冊。然後,您將能夠直接運行教程或訪問Hopsworks並嘗試一下。這是在潛入更高級的用途和安裝要求之前首先體驗平台的首選方法。
託管Hopsworks是我們運行Hopsworks和雲中的功能存儲的平台,並直接與客戶AWS/Azure/GCP環境集成。它還與Databricks,SageMaker和KubeFlow等第三方平台無縫集成。
如果您想在Azure,AWS或GCP環境上運行Hopsworks,請遵循我們的文檔中的以下指南之一:
AWS指南
Azure指南
GCP指南
可以使用Hopsworks在本地使用Hopsworks,這意味著公司可以在自己的硬件和基礎架構上運行其機器學習工作負載,而不是依靠雲提供商。這可以提供更大的靈活性,控制和成本節省,並使公司能夠滿足特定的合規性和安全要求。
與Hopsworks一起在本地工作通常涉及與Hopsworks工程團隊的協作,因為每個基礎架構都是獨一無二的,並且需要針對部署和配置進行量身定制的方法。該過程始於對公司現有的基礎架構和要求的評估,包括網絡拓撲,安全策略和硬件規格。
有關本地安裝的更多詳細信息:與我們聯繫。
您至少需要一台服務器或虛擬機,其中將在其中安裝Hopsworks至少以下規範:
Centos/Rhel 8.x或Ubuntu 22.04;
至少32GB RAM,
至少8個CPU,
100 GB的免費硬盤空間,
帶有Sudo特權的Unix用戶帳戶。
HOPSWORKS文檔包括用戶指南,功能存儲文檔和管理指南。我們還包括幫助用戶瀏覽功能存儲和MLOP的抽象和邏輯的概念:
功能商店: https://docs.hopsworks.ai/3.0/concepts/fs/
項目: https://docs.hopsworks.ai/3.0/concepts/projects/governance/
MLOPS: https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
HOPSWORKS API文檔分為三類; HOPSWORKS API涵蓋項目級別API,功能存儲API涵蓋功能組,功能視圖和連接器,最後MLOPS API涵蓋模型註冊表,服務和部署。
hopsworks api -https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
功能商店API -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
MLOPS API -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection/connection_api/
大多數教程要求您至少在app.hopsworks.ai上擁有一個帳戶。您可以探索專用的https://github.com/logicalclocks/hopsworks-tutorials存儲庫,其中包含我們的教程或直接在現有用例之一中跳躍:
欺詐(批次):https://github.com/logicalclocks/hopsworks-tutorials/tree/master/master/fraud_batch
欺詐(在線):https://github.com/logicalclocks/hopsworks-tutorials/tree/master/master/fraud_online
攪動預測https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
Hopsworks將項目作為安全的沙箱,在其中團隊可以在其中協作和共享ML資產。 Hopsworks獨特的多租戶項目模型甚至可以使敏感數據存儲在共享群集中,同時仍為項目邊界跨項目的ML資產提供細粒度的共享功能。項目可用於構建團隊,以便他們從原始數據到託管功能和模型的端到端責任。項目還可以用於為數據團隊創建開發,分期和生產環境。所有ML資產支持版本管理,血統和出處都為所有啤酒花用戶提供了MLOPS生命週期的完整視圖,從功能工程到模型服務。
HOPSWORKS為數據科學提供開發工具,包括用於Python的Conda環境,Jupyter筆記本電腦,作業甚至筆記本作為工作。您可以使用捆綁的氣流來構建生產管道,甚至可以使用gpus在氣流上的筆記本中運行ML訓練管道。您可以在Hopsworks群集中安裝的盡可能多的GPU上培訓模型,並在用戶中輕鬆共享它們。您還可以在HOPSWORKS上運行Spark,Spark流或Flink程序,並支持雲中的彈性工人(動態添加/刪除工人)。
HOPSWORKS可以作為AWS,Azure和GCP的雲中的託管平台可用,並且可以安裝在任何基於Linux的虛擬機(Ubuntu/Redhat兼容)上,即使在空調數據中心也可以安裝。 HOPSWORKS也可以作為無服務器平台提供,可管理並為您的功能和型號提供服務。
我們正在建立市場上最完整,最模塊化的ML平台,我們依靠您的支持來不斷改善啤酒花。隨時為我們提供建議,報告錯誤並隨時向我們的圖書館添加功能。
提出問題並在霍普斯沃(Hopsworks)社區中給我們反饋
加入我們的公共休閒頻道
在Twitter上關注我們
查看我們所有最新產品版本
HOPSWORKS可根據AGPL-V3許可證獲得。用簡單的英語,這意味著您可以自由使用啤酒花工程,甚至可以在其上構建付費服務,但是如果您修改源代碼,則還應釋放更改以及圍繞它構建的任何系統作為AGPL-V3。