recommendersダウンロード - recommendersソースコードのダウンロード

recommenders

その他のソースコード

Recommenders 1.2.0

ダウンロード

導入

Recommenders の目的は、研究者、開発者、愛好家がさまざまな古典的および最先端のレコメンデーションシステムのプロトタイピング、実験、製品化を支援することです。

Recommenders は、Linux Foundation of AI and Data の下にあるプロジェクトです。

このリポジトリには、Jupyter ノートブックとして提供される、レコメンデーションシステムを構築するための例とベストプラクティスが含まれています。例では、5 つの主要なタスクに関する学習内容を詳しく説明します。

データの準備: 各推奨アルゴリズムのデータを準備して読み込みます。
モデル: Alternating Least Squares (ALS) や eXtreme Deep Factorization Machines (xDeepFM) など、さまざまな古典的および深層学習の推奨アルゴリズムを使用してモデルを構築します。
評価: オフラインメトリクスを使用してアルゴリズムを評価します。
モデルの選択と最適化: 推奨モデルのハイパーパラメーターを調整および最適化します。
運用化: Azure の実稼働環境でモデルを運用化します。

レコメンダーには、さまざまなアルゴリズムで期待される形式でのデータセットの読み込み、モデル出力の評価、トレーニング/テストデータの分割などの一般的なタスクをサポートするいくつかのユーティリティが提供されています。独習や独自のアプリケーションでのカスタマイズのために、いくつかの最先端のアルゴリズムの実装が含まれています。 Recommender のドキュメントを参照してください。

リポジトリの詳細な概要については、Wiki ページのドキュメントを参照してください。

推奨システムが適用された実際のシナリオのいくつかについては、「シナリオ」を参照してください。

はじめる

環境管理には conda を、開発には VS Code をお勧めします。 Linux/WSL でレコメンダーパッケージをインストールし、サンプルノートブックを実行するには:

 # 1. Install gcc if it is not installed already. On Ubuntu, this could done by using the command
# sudo apt install gcc

# 2. Create and activate a new conda environment
conda create -n < environment_name > python=3.9
conda activate < environment_name >

# 3. Install the core recommenders package. It can run all the CPU notebooks.
pip install recommenders

# 4. create a Jupyter kernel
python -m ipykernel install --user --name < environment_name > --display-name < kernel_name >

# 5. Clone this repo within VSCode or using command line:
git clone https://github.com/recommenders-team/recommenders.git

# 6. Within VSCode:
#   a. Open a notebook, e.g., examples/00_quick_start/sar_movielens.ipynb;  
#   b. Select Jupyter kernel <kernel_name>;
#   c. Run the notebook.

他のプラットフォーム (Windows や macOS など) およびさまざまな構成 (GPU、Spark、実験的機能など) でのセットアップの詳細については、セットアップガイドを参照してください。

コアパッケージに加えて、次のようないくつかの追加機能も提供されます。

[gpu] : GPU モデルを実行するために必要です。
[spark] : Spark モデルを実行するために必要です。
[dev] : リポジトリの開発に必要です。
[all] : [gpu] | [spark] | [dev]
[experimental] : 十分にテストされていないモデル、またはインストールに追加の手順が必要な可能性があるモデル。

アルゴリズム

以下の表は、リポジトリで現在利用可能な推奨アルゴリズムを示しています。ノートブックは、「例」列の下に、簡単に実行できるアルゴリズムの例を紹介する「クイックスタート」として、またはアルゴリズムの数学と実装を詳細に説明する「ディープダイブ」としてリンクされています。

アルゴリズム	タイプ	説明	例
交互最小二乗法 (ALS)	協調フィルタリング	大規模なデータセットにおける明示的または暗黙的なフィードバックのための行列因数分解アルゴリズム。スケーラビリティと分散コンピューティング機能のために最適化されています。 PySpark環境で動作します。	クイックスタート/ディープダイブ
注意深く非同期特異値分解 (A2SVD) ^*	協調フィルタリング	アテンションメカニズムを使用して長期および短期の両方のユーザーの好みをキャプチャすることを目的としたシーケンシャルベースのアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
Cornac/Bayesian パーソナライズドランキング (BPR)	協調フィルタリング	暗黙的なフィードバックを使用して項目ランキングを予測するための行列因数分解アルゴリズム。 CPU環境で動作します。	詳細な説明
Cornac/バイラテラル変分オートエンコーダ (BiVAE)	協調フィルタリング	二項データの生成モデル (ユーザーとアイテムのインタラクションなど)。 CPU/GPU環境で動作します。	詳細な説明
畳み込みシーケンス埋め込みの推奨事項 (Caser)	協調フィルタリング	ユーザーの一般的な好みと連続的なパターンの両方を捕捉することを目的とした畳み込みに基づくアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
ディープナレッジアウェアネットワーク (DKN) ^*	コンテンツベースのフィルタリング	ニュースや記事の推奨を提供するためのナレッジグラフと記事の埋め込みを組み込んだディープラーニングアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート/ディープダイブ
エクストリームディープ因数分解マシン (xDeepFM) ^*	協調フィルタリング	ユーザー/アイテムの特徴による暗黙的および明示的なフィードバックを実現する深層学習ベースのアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
FastAI 埋め込みドットバイアス (FAST)	協調フィルタリング	ユーザーとアイテムの埋め込みとバイアスを備えた汎用アルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
LightFM/因数分解マシン	協調フィルタリング	暗黙的フィードバックと明示的フィードバックの両方のための因数分解マシンアルゴリズム。 CPU環境で動作します。	クイックスタート
LightGBM/グラデーションブースティングツリー^*	コンテンツベースのフィルタリング	コンテンツベースの問題で高速トレーニングと低メモリ使用量を実現する勾配ブースティングツリーアルゴリズム。 CPU/GPU/PySpark環境で動作します。	CPU のクイックスタート / PySpark のディープダイブ
ライトGCN	協調フィルタリング	暗黙的なフィードバックを予測するための GCN の設計を簡素化する深層学習アルゴリズム。 CPU/GPU環境で動作します。	詳細な説明
ジオIMC ^*	協調フィルタリング	リーマン共役勾配最適化を使用してユーザーとアイテムの特徴を考慮し、幾何学的アプローチに従う行列補完アルゴリズム。 CPU環境で動作します。	クイックスタート
GRU	協調フィルタリング	リカレントニューラルネットワークを使用して長期および短期の両方のユーザーの好みをキャプチャすることを目的としたシーケンシャルベースのアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
多項VAE	協調フィルタリング	ユーザーとアイテムのインタラクションを予測するための生成モデル。 CPU/GPU環境で動作します。	詳細な説明
長期および短期ユーザー表現を使用したニューラルレコメンデーション (LSTUR) ^*	コンテンツベースのフィルタリング	長期および短期のユーザー関心モデリングを使用してニュース記事を推奨するニューラル推奨アルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
丁寧なマルチビュー学習によるニューラルレコメンデーション (NAML) ^*	コンテンツベースのフィルタリング	丁寧なマルチビュー学習によりニュース記事を推奨するニューラル推奨アルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
ニューラル協調フィルタリング (NCF)	協調フィルタリング	ユーザー/アイテムの暗黙的なフィードバックのパフォーマンスが強化された深層学習アルゴリズム。 CPU/GPU環境で動作します。	クイックスタート/ディープダイブ
パーソナライズされた注意を伴うニューラルレコメンデーション (NPA) ^*	コンテンツベースのフィルタリング	パーソナライズされたアテンションネットワークを使用してニュース記事を推奨するニューラル推奨アルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
マルチヘッドセルフアテンション (NRMS) によるニューラルレコメンデーション^*	コンテンツベースのフィルタリング	マルチヘッドセルフアテンションでニュース記事を推奨するニューラル推奨アルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
次のアイテムの推奨事項 (NextItNet)	協調フィルタリング	拡張畳み込みと逐次パターンの捕捉を目的とした残差ネットワークに基づくアルゴリズム。ユーザーとアイテムのインタラクションと機能の両方が考慮されます。 CPU/GPU環境で動作します。	クイックスタート
制限付きボルツマンマシン (RBM)	協調フィルタリング	明示的または暗黙的なユーザー/アイテムフィードバックの基礎となる確率分布を学習するためのニューラルネットワークベースのアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート/ディープダイブ
リーマン低ランク行列補完 (RLRMC) ^*	協調フィルタリング	リーマン共役勾配最適化を使用した行列分解アルゴリズム。メモリ消費量が少なく、ユーザー/アイテムのインタラクションを予測します。 CPU環境で動作します。	クイックスタート
推奨用簡易アルゴリズム (SAR) ^*	協調フィルタリング	暗黙的なユーザー/アイテムフィードバックのための類似性に基づくアルゴリズム。 CPU環境で動作します。	クイックスタート/ディープダイブ
自己注意型逐次推奨 (SASRec)	協調フィルタリング	逐次推奨のためのトランスフォーマーベースのアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
短期および長期優先の統合レコメンダー (SLi-Rec) ^*	協調フィルタリング	アテンションメカニズム、時間認識コントローラー、およびコンテンツ認識コントローラーを使用して、長期および短期の両方のユーザーの好みをキャプチャすることを目的としたシーケンシャルベースのアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
マルチインタレスト認識シーケンシャルユーザーモデリング (SUM) ^*	協調フィルタリング	ユーザーの複数の興味を捉えることを目的とした、強化されたメモリネットワークベースのシーケンシャルユーザーモデル。 CPU/GPU環境で動作します。	クイックスタート
Personalized Transformer (SSEPT) による逐次推奨	協調フィルタリング	ユーザー埋め込みによる逐次レコメンデーションのためのトランスフォーマーベースのアルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
標準VAE	協調フィルタリング	ユーザーとアイテムのインタラクションを予測するための生成モデル。 CPU/GPU環境で動作します。	詳細な説明
サプライズ/特異値分解 (SVD)	協調フィルタリング	小規模なデータセットで明示的な評価フィードバックを予測するための行列因数分解アルゴリズム。 CPU/GPU環境で動作します。	詳細な説明
用語頻度 - 逆文書頻度 (TF-IDF)	コンテンツベースのフィルタリング	テキストデータセットを使用したコンテンツベースのレコメンデーションのためのシンプルな類似度ベースのアルゴリズム。 CPU環境で動作します。	クイックスタート
ヴォウパルワビット (VW) ^*	コンテンツベースのフィルタリング	高速オンライン学習アルゴリズム。ユーザーの機能やコンテキストが絶えず変化するシナリオに最適です。オンライン学習にはCPUを使用します。	詳細な説明
広くて深い	協調フィルタリング	機能の相互作用を記憶し、ユーザーの機能を一般化できる深層学習アルゴリズム。 CPU/GPU環境で動作します。	クイックスタート
xLearn/因数分解マシン (FM) およびフィールドアウェア FM (FFM)	協調フィルタリング	ユーザー/アイテムの特徴を使用してラベルを予測する、迅速でメモリ効率の高いアルゴリズム。 CPU/GPU環境で動作します。	詳細な説明

注: ^{* は}、Microsoft が発明/貢献したアルゴリズムを示します。

独立したアルゴリズムやインキュベーション中のアルゴリズムやユーティリティが contrib フォルダーの候補となります。これには、コアリポジトリに簡単に収まらないコントリビューション、またはコードをリファクタリングまたは成熟させて必要なテストを追加するのに時間がかかるコントリビューションが格納されます。

アルゴリズム	タイプ	説明	例
SARプラス^*	協調フィルタリング	Spark 向けに最適化された SAR の実装	クイックスタート

アルゴリズムの比較

さまざまなアルゴリズムをどのように評価および比較できるかを示すベンチマークノートブックを提供します。このノートブックでは、層別分割を使用して、MovieLens データセットが 75/25 の比率でトレーニング/テストセットに分割されています。推奨モデルは、以下の各協調フィルタリングアルゴリズムを使用してトレーニングされます。ここでは、文献で報告されている経験的なパラメータ値を利用します。ランキング指標には、 k=10 (推奨アイテムの上位 10 個) を使用します。標準 NC6s_v2 Azure DSVM (6 つの vCPU、112 GB メモリ、および 1 つの P100 GPU) で比較を実行します。 Spark ALS はローカルのスタンドアロンモードで実行されます。この表では、Movielens 100k でアルゴリズムを 15 エポック実行した結果を示しています。

アルゴリズム	地図	nDCG@k	精度@k	リコール@k	RMSE	前	^R2	説明された分散
ALS	0.004732	0.044239	0.048462	0.017796	0.965038	0.753001	0.255647	0.251648
BiVAE	0.146126	0.475077	0.411771	0.219145	該当なし	該当なし	該当なし	該当なし
BPR	0.132478	0.441997	0.388229	0.212522	該当なし	該当なし	該当なし	該当なし
ファストAI	0.025503	0.147866	0.130329	0.053824	0.943084	0.744337	0.285308	0.287671
ライトGCN	0.088526	0.419846	0.379626	0.144336	該当なし	該当なし	該当なし	該当なし
NCF	0.107720	0.396118	0.347296	0.180775	該当なし	該当なし	該当なし	該当なし
SAR	0.110591	0.382461	0.330753	0.176385	1.253805	1.048484	-0.569363	0.030474
SVD	0.012873	0.095930	0.091198	0.032783	0.938681	0.742690	0.291967	0.291971

貢献する

このプロジェクトは貢献と提案を歓迎します。貢献する前に、貢献ガイドラインをご覧ください。

このプロジェクトは、すべての人を歓迎し、インスピレーションを与えるコミュニティを育成するために、この行動規範を遵守します。

ビルドステータス

これらのテストは夜間のビルドであり、非同期テストを計算します。 main主要なブランチであり、 staging開発ブランチです。レコメンダーの Python ユーティリティとノートブックの Recommenders ノートブックエグゼキューターをテストするために pytest を使用します。

テストパイプラインの詳細については、テストのドキュメントを参照してください。

AzureML 夜間ビルドステータス

夜間のビルドテストは AzureML で毎日実行されます。

ビルドタイプ	支店	支店
Linux CPU	主要	ステージング
Linux GPU	主要	ステージング
リナックススパーク	主要	ステージング

参考文献

無料コース: M. González-Fierro、「Recommendation Systems: A Practical Introduction」、LinkedIn Learning、2024。このリンクから入手できます。
D. Li、J. Lian、L. Zhang、K. Ren、D. Lu、T. Wu、X. Xie、「Recommender Systems: Frontiers and Practices」、Springer、北京、2024 年。このリンクから入手できます。
A. Argyriou、M. González-Fierro、および L. Zhang、「Microsoft Recommenders: 運用対応レコメンデーションシステムのベストプラクティス」、 WWW 2020: International World Wide Web Conference 台北、2020 年。オンラインで入手可能: https://dl. acm.org/doi/abs/10.1145/3366424.3382692
S. Graham、JK Min、T. Wu、「マイクロソフトレコメンダー: レコメンダーシステムの開発を加速するツール」、 RecSys '19: Proceedings of the 13th ACM Conference on Recommender Systems 、2019。オンラインで入手可能: https://dl.acm。 org/doi/10.1145/3298689.3346967
L. Zhang、T. Wu、X. Xie、A. Argyriou、M. González-Fierro、J. Lian、「Building Production-Ready Recommendation System at Scale」、 ACM SIGKDD Conference on Knowledge Discovery and Data Mining 2019 (KDD 2019) ） 、2019年。

拡大する

追加情報