MetaSpore

中文介绍

Metaspore：ワンストップ機械学習開発プラットフォーム

Metasporeは、データの前処理、モデルトレーニング、オフライン実験、オンライン予測、オンライン実験トラフィックバケツ化、ABテストまでのフルサイクルフレームワークと開発インターフェイスを提供するワンストゥエンドツーエンドの機械学習開発プラットフォームです。

MetasporeはDmetasoulチームによって開発され、オープンソーリングされています。 Slackユーザーディスカッションスペースに参加することもできます。

コア機能

Metasporeには次の機能があります。

1. オフラインモデルのトレーニングからオンライン予測およびバケティング実験まで、ワン​​ストップエンドツーエンド開発、プロセス全体にわたって統一された開発エクスペリエンスを備えています。
2. Pytorch Ecologyと互換性のあるディープラーニングトレーニングフレームワークは、分散型の大規模なスパース機能学習をサポートしています。
3. トレーニングフレームワークはPySparkに接続されており、データレイクとデータウェアハウスのトレーニングデータをシームレスに読み取ります。
4. 高性能オンライン予測サービスは、ニューラルネットワーク、決定ツリー、Spark ML、Sklearnおよびその他のモデルの高速推論をサポートします。不均一なハードウェア推論の加速をサポートします。
5. オフラインの統合機能抽出フレームワークでは、オンライン機能の読み取りロジックが自動的に生成され、機能抽出ロジックはオフラインおよびオンラインで統一されています。
6. オンラインアルゴリズムアプリケーションフレームワーク、モデル予測、実験バケットとトラフィックの分割、パラメーターの動的ホットローディング、リッチデバッグ関数を提供します。
7. 豊富な業界のアルゴリズムの例とエンドツーエンドのソリューション。

ドキュメントと例

• オフライントレーニング開始チュートリアル

• オンラインアルゴリズムアプリケーション（Java実装）

  • オンラインモデルサービング
  • オンライン機能抽出
  • オンライン実験パイプライン

• Movielensエンドツーエンドの推奨システムデモを含む

  • オフラインモデル
  • オンラインアルゴリズムアプリケーション（Java実装）

インストールパッケージのダウンロード

トレーニングパッケージ

Pypiで事前コンパイルされたオフライントレーニングホイールパッケージを提供し、PIP経由でインストールします。

pip install metaspore

必要な最小Pythonバージョンは3.8です。

インストール後、PytorchとPysparkもインストールします（Metasporeホイールの依存者として含まれていないため、必要に応じてPysparkバージョンとPytorchバージョンを選択できます）：

pip install pyspark
pip install torch==1.11.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html

サービングパッケージ

Metasporeサービングサービスに事前に作成されたDocker画像を提供します。

CPUのみの画像

 docker pull dmetasoul/metaspore-serving-release:cpu-v1.0.1

GPU画像

 docker pull dmetasoul/metaspore-serving-release:gpu-v1.0.1

詳細については、DockerのRun Serving Serviceを参照してください。

コードをコンパイルします

• オフライントレーニングフレームワークの編集

コミュニティのガイドライン

コミュニティのガイドライン

フィードバック

使用に関する質問については、GitHubディスカッションまたはGitHub Issueを使用して質問を投稿できます。

郵便

[email protected]にメールしてください。

スラック

ユーザーディスカッションスラックチャネル：Metasporeユーザーディスカッションに参加してください

オープンソースプロジェクト

Metasporeは、Apacheライセンス2.0でリリースされた完全にオープンソースプロジェクトです。参加、フィードバック、およびコードの貢献を歓迎します。