MetaSpore

中文介绍

Metaspore: plate-forme de développement d'apprentissage automatique à guichet unique

Metaspore est une plate-forme de développement de l'apprentissage automatique de bout en bout à guichet automatique qui fournit un cadre à cycle complet et une interface de développement pour le prétraitement des données, la formation de modèle, les expériences hors ligne, les prédictions en ligne aux expérimentations en ligne et à la backétisation du trafic et aux tests AB.

Metaspore est développé et ouvert par l'équipe DMetasoul. Vous pouvez également rejoindre notre espace de discussion sur les utilisateurs de Slack.

Caractéristiques de base

Metaspore a les fonctionnalités suivantes:

1. Développement à guichet unique de bout en bout, de la formation du modèle hors ligne aux expériences de prédiction et de seau en ligne, avec une expérience de développement unifiée tout au long du processus;
2. Le cadre de formation en profondeur, compatible avec l'écologie de Pytorch, soutient l'apprentissage des caractéristiques clairsemé à grande échelle distribuée;
3. Le cadre de formation est connecté à Pyspark pour lire de manière transparente les données de formation de Data Lake et Data Warehouse;
4. Service de prédiction en ligne haute performance, prend en charge l'inférence rapide pour le réseau neuronal, l'arbre de décision, Spark ML, Sklearn et d'autres modèles; prend en charge l'accélération hétérogène du matériel;
5. Dans le cadre d'extraction des fonctionnalités unifiés hors ligne, la logique de lecture des fonctionnalités en ligne est automatiquement générée et la logique d'extraction des fonctionnalités est unifiée Cross Offline et en ligne;
6. Framework d'application d'algorithme en ligne, fournissant une prédiction de modèle, un sort d'expérience et un fractionnement du trafic, un chargement à chaud dynamique des paramètres et de riches fonctions de débogage;
7. Exemples d'algorithmes de l'industrie riche et solutions de bout en bout.

Documentation et exemples

• Tutoriel de démarrage de formation hors ligne

• Application d'algorithme en ligne (implémentation Java)

  • Modèle de service en ligne
  • Extraction des fonctionnalités en ligne
  • Pipeline d'expérience en ligne

• Une démo du système de recommandation de bout en bout Moviens, y compris

  • Modèles hors ligne
  • Application d'algorithme en ligne (implémentation Java)

Téléchargement du package d'installation

Forfait de formation

Nous fournissons un ensemble de roues d'entraînement hors ligne précompilé sur PYPI, l'installons via PIP:

pip install metaspore

La version Python minimale requise est de 3,8.

Après l'installation, installez également Pytorch et Pyspark (ils ne sont pas inclus en tant que tarification de la roue Metaspore afin que vous puissiez choisir les versions Pyspark et Pytorch selon les besoins):

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

Forfait

Nous fournissons des images Docker préfabillées pour le service de service Metaspore:

Image uniquement du processeur

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

Image GPU

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

Voir le service de service d'exécution dans Docker pour plus de détails.

Compiler le code

• Compilation de cadre de formation hors ligne

Lignes directrices communautaires

Lignes directrices communautaires

Retour

Pour des questions sur l'utilisation, vous pouvez publier des questions dans la discussion GitHub ou par le biais du problème de GitHub.

Mail

Envoyez-nous un courriel à [email protected].

Mou

Rejoignez notre discussion d'utilisateur Slack Channel: Discussion d'utilisateurs de Metaspore

Projets open source

Metaspore est un projet entièrement open source publié sous la licence Apache 2.0. La participation, les commentaires et les contributions du code sont les bienvenues.