MetaSpore

中文介绍

Metaspore：一站式机器学习开发平台

Metaspore是一个一站式端到端的机器学习开发平台，可提供一个完整的周期框架和开发界面，可从数据预处理，模型培训，离线实验，在线实验交通量表和AB AB-测试中提供。

Metaspore由Dmetasoul Team开发和开放。您也可以加入我们的Slack用户讨论空间。

核心功能

Metaspore具有以下功能：

1. 一站式端到端开发，从离线模型培训到在线预测和水库实验，在整个过程中具有统一的开发经验；
2. 深度学习培训框架与Pytorch生态兼容，支持分布的大规模稀疏特征学习；
3. 培训框架与Pyspark连接，以无缝阅读数据湖和数据仓库的培训数据；
4. 高性能在线预测服务，支持神经网络，决策树，Spark ML，Sklearn和其他模型的快速推断；支持异质硬件推理加速度；
5. 在离线统一功能提取框架中，在线功能阅读逻辑将自动生成，并且功能提取逻辑是统一的跨线和在线；
6. 在线算法应用程序框架，提供模型预测，实验存储桶和流量拆分，参数的动态热负载以及丰富的调试功能；
7. 丰富的行业算法示例和端到端解决方案。

文档和示例

• 离线培训入门教程

• 在线算法应用程序（Java实施）

  • 在线模型服务
  • 在线功能提取
  • 在线实验管道

• Movielens端到端推荐系统演示，包括

  • 离线模型
  • 在线算法应用程序（Java实施）

安装程序包下载

培训包

我们在PYPI上提供预编译的离线训练轮套件，通过PIP安装它：

pip install metaspore

所需的最小Python版本为3.8。

安装后，还安装Pytorch和Pyspark（它们不包括作为Metaspore Wheel的依赖，因此您可以根据需要选择Pyspark和Pytorch版本）：

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

服务包

我们为Metaspore服务服务提供预建的Docker图像：

仅CPU图像

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

GPU图像

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

有关详细信息，请参见Docker中的运行服务。

编译代码

• 离线培训框架汇编

社区准则

社区准则

反馈

有关使用情况的问题，您可以在GitHub讨论中或通过GitHub问题发布问题。

邮件

通过[email protected]给我们发送电子邮件。

松弛

加入我们的用户讨论Slack Channel：METASPORE用户讨论

开源项目

METASPORE是一个完全开放的开源项目，该项目是Apache许可证2.0。欢迎参与，反馈和代码贡献。