MetaSpore

中文介绍

Metaspore: Plattform für maschinelle Lernentwicklung für maschinelle Lernen

MetaSPore ist eine One-Stop-End-to-End-Entwicklungsplattform für maschinelle Lernen, die ein Rahmen- und Entwicklungsschnittstellen in vollem Zyklus für Datenvorbereitung, Modelltraining, Offline-Experimente, Online-Vorhersagen für Online-Experiment-Verkehrsbucketisierung und Abentests bietet.

Metaspore wird vom Dmetasoul -Team entwickelt und geöffnet. Sie können sich auch unserem Slack -Benutzer -Diskussionsraum anschließen.

Kernmerkmale

Metaspore hat die folgenden Funktionen:

1. Ein-Stop-End-to-End-Entwicklung, vom Offline-Modelltraining bis hin zu Online-Vorhersage- und Bucketing-Experimenten, mit einer einheitlichen Entwicklungserfahrung im gesamten Prozess;
2. Deep Learning Training Framework, kompatibel mit der Pytorch-Ökologie, unterstützt verteilte großflächige spärliche Merkmalslernen.
3. Der Trainingsrahmen ist mit PYSPARK verbunden, um die Trainingsdaten vom Data Lake und Data Warehouse nahtlos zu lesen.
4. Hochleistungs-Online-Vorhersagedienst unterstützt die schnelle Inferenz für neuronales Netzwerk, Decision Tree, Spark ML, Sklearn und andere Modelle; unterstützt heterogene Hardware -Inferenzbeschleunigung;
5. Im Framework Offline Unified Feature Extraction wird die Online -Funktionslogik automatisch generiert, und die Feature -Extraktionslogik ist ein Unified Cross offline und online.
6. Online -Algorithmus -Anwendungs ​​-Framework, Bereitstellung von Modellvorhersage, Experiment -Bucketing und Verkehrspaltung, dynamisches heißes Laden von Parametern und reichhaltigen Debugfunktionen;
7. Beispiele für reiche Industriealgorithmus und End-to-End-Lösungen.

Dokumentation und Beispiele

• Offline -Training Erste Schritte Tutorial

• Online -Algorithmusanwendung (Java -Implementierung)

  • Online -Modell
  • Online -Feature -Extraktion
  • Online -Experiment -Pipeline

• Eine Movielens End-to-End-Empfehlungssystem-Demo, einschließlich

  • Offline -Modelle
  • Online -Algorithmusanwendung (Java -Implementierung)

Installationspaket herunterladen

Trainingspaket

Wir bieten ein vorkompiliertes Offline -Trainingsradpaket auf PYPI und installieren es über PIP:

pip install metaspore

Die erforderliche Mindestversion von Python ist 3,8.

Installieren Sie nach der Installation auch Pytorch und PySpark (sie sind nicht als Abhängigkeiten von Metaspore Wheel enthalten, sodass Sie bei Bedarf PYSPARK- und Pytorch -Versionen auswählen können):

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

Servingspaket

Wir bieten vorgebaute Docker -Bilder für den Metaspore -Servierservice an:

Nur CPU -Bild

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

GPU -Bild

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

Weitere Informationen finden Sie unter Docker.

Kompilieren Sie den Code

• Offline -Trainingsrahmen Zusammenstellung

Community -Richtlinien

Community -Richtlinien

Rückmeldung

Für Fragen zur Verwendung können Sie Fragen in der Github -Diskussion oder durch Github -Problem veröffentlichen.

Post

Senden Sie uns eine E -Mail an [email protected].

Locker

Schließen Sie sich unserem User Diskussion Slack Channel an: MetaPore -Benutzerdiskussion

Open Source -Projekte

MetaPore ist ein vollständig Open -Source -Projekt, das unter der Apache -Lizenz 2.0 veröffentlicht wurde. Teilnahme, Feedback und Codebeiträge sind willkommen.