MetaSpore

中文介紹

Metaspore：一站式機器學習開發平台

Metaspore是一個一站式端到端的機器學習開發平台，可提供一個完整的周期框架和開發界面，可從數據預處理，模型培訓，離線實驗，在線實驗交通量表和AB AB-測試中提供。

Metaspore由Dmetasoul Team開發和開放。您也可以加入我們的Slack用戶討論空間。

核心功能

Metaspore具有以下功能：

1. 一站式端到端開發，從離線模型培訓到在線預測和水庫實驗，在整個過程中具有統一的開發經驗；
2. 深度學習培訓框架與Pytorch生態兼容，支持分佈的大規模稀疏特徵學習；
3. 培訓框架與Pyspark連接，以無縫閱讀數據湖和數據倉庫的培訓數據；
4. 高性能在線預測服務，支持神經網絡，決策樹，Spark ML，Sklearn和其他模型的快速推斷；支持異質硬件推理加速度；
5. 在離線統一功能提取框架中，在線功能閱讀邏輯將自動生成，並且功能提取邏輯是統一的跨線和在線；
6. 在線算法應用程序框架，提供模型預測，實驗存儲桶和流量拆分，參數的動態熱負載以及豐富的調試功能；
7. 豐富的行業算法示例和端到端解決方案。

文檔和示例

• 離線培訓入門教程

• 在線算法應用程序（Java實施）

  • 在線模型服務
  • 在線功能提取
  • 在線實驗管道

• Movielens端到端推薦系統演示，包括

  • 離線模型
  • 在線算法應用程序（Java實施）

安裝程序包下載

培訓包

我們在PYPI上提供預編譯的離線訓練輪套件，通過PIP安裝它：

pip install metaspore

所需的最小Python版本為3.8。

安裝後，還安裝Pytorch和Pyspark（它們不包括作為Metaspore Wheel的依賴，因此您可以根據需要選擇Pyspark和Pytorch版本）：

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

服務包

我們為Metaspore服務服務提供預建的Docker圖像：

僅CPU圖像

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

GPU圖像

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

有關詳細信息，請參見Docker中的運行服務。

編譯代碼

• 離線培訓框架彙編

社區準則

社區準則

回饋

有關使用情況的問題，您可以在GitHub討論中或通過GitHub問題發布問題。

郵件

通過[email protected]給我們發送電子郵件。

鬆弛

加入我們的用戶討論Slack Channel：METASPORE用戶討論

開源項目

METASPORE是一個完全開放的開源項目，該項目是Apache許可證2.0。歡迎參與，反饋和代碼貢獻。