L2Cダウンロード - L2Cソースコードのダウンロード

L2C

AI ソースコード

1.0.0

ダウンロード

L2C: クラスタリングの学習

ディープニューラルネットワークを使用したクラスタリング戦略。このブログ記事では一般的な概要を説明します。

導入

このリポジトリは、転移学習スキーム (L2C) の PyTorch 実装と、ディープクラスタリングに役立つ 2 つの学習基準を提供します。

メタ分類尤度 (MCL)* - ニュース: ICLR2019 に採択されました (タイトル: 「複数クラスラベルを使用しない複数クラス分類」)。
KLD ベースのコントラスト損失 (KCL)

_{^{※CCLから改名}}

このリポジトリには次の参照が含まれています。

 @inproceedings{Hsu19_MCL,
	title =	    {Multi-class classification without multi-class labels},
	author =    {Yen-Chang Hsu, Zhaoyang Lv, Joel Schlosser, Phillip Odom, Zsolt Kira},
	booktitle = {International Conference on Learning Representations (ICLR)},
	year =      {2019},
	url =       {https://openreview.net/forum?id=SJzR2iRcK7}
}

@inproceedings{Hsu18_L2C,
	title =     {Learning to cluster in order to transfer across domains and tasks},
	author =    {Yen-Chang Hsu and Zhaoyang Lv and Zsolt Kira},
	booktitle = {International Conference on Learning Representations (ICLR)},
	year =      {2018},
	url =       {https://openreview.net/forum?id=ByRWCqvT-}
}

@inproceedings{Hsu16_KCL,
	title =	    {Neural network-based clustering using pairwise constraints},
	author =    {Yen-Chang Hsu and Zsolt Kira},
	booktitle = {ICLR workshop},
	year =      {2016},
	url =       {https://arxiv.org/abs/1511.06321}
}

準備

このリポジトリは、PyTorch 1.0、Python 2.7、3.6、および 3.7 をサポートします。

pip install -r requirements.txt

デモ

ペアごとの類似性のみを使用した教師あり分類/クラスタリング

 # A quick trial:
python demo.py  # Default Dataset:MNIST, Network:LeNet, Loss:MCL
python demo.py --loss KCL

# Lookup available options:
python demo.py -h

# For more examples:
./scripts/exp_supervised_MCL_vs_KCL.sh

教師なしクラスタリング (クロスタスク転移学習)

 # Learn the Similarity Prediction Network (SPN) with Omniglot_background and then transfer to the 20 alphabets in Omniglot_evaluation.
# Default loss is MCL with an unknown number of clusters (Set a large cluster number, i.e., k=100)
# It takes about half an hour to finish.
python demo_omniglot_transfer.py

# An example of using KCL and set k=gt_#cluster
python demo_omniglot_transfer.py --loss KCL --num_cluster -1

# Lookup available options:
python demo_omniglot_transfer.py -h

# Other examples:
./scripts/exp_unsupervised_transfer_Omniglot.sh

注意事項

クラスタリングの結果は、類似性予測ネットワーク (SPN) のパフォーマンスに大きく依存します。公平な比較を行うには、SPN を同じに保つ必要があります。このスクリプトは、ランダムな初期化とランダムなデータサンプリングを使用して SPN をトレーニングします。 SPN モデルがトレーニングされると、スクリプトは保存された SPN を再利用し、新しい SPN のトレーニングを回避します。
以下の表は、参照 SPN [ダウンロード] を使用したクラスタリングのパフォーマンスを示しています。モデルファイルを /outputs フォルダーに置き、demo_omniglot_transfer.py を直接実行して「MCL(k=100)」列を生成します。
パフォーマンスの指標はクラスタリングの精度です (詳細については、L2C の論文を参照してください)。表内の各値は、3 回のクラスタリング実行の平均です。このリポジトリは PyTorch のユーティリティの大部分を再利用しており、参考資料で使用されている Lua ベースの実装とは異なります。結果 (「--Average--」の行) は論文と同じ傾向を示していますが、絶対値には若干の差があります。ここでの MCL の結果は論文よりも優れています。

データセット	GT #クラス	KCL (k=100)	MCL (k=100)	KCL (k=gt)	MCL (k=gt)
エンジェリック	20	73.2%	82.2%	89.0%	91.7%
アテマヤル・ケリサイヤー	26	73.3%	89.2%	82.5%	86.0%
アトランティス人	26	65.5%	83.3%	89.4%	93.5%
オーレク・ベシュ	26	88.4%	92.8%	91.5%	92.4%
アベスタ	26	79.0%	85.8%	85.4%	86.1%
げーず	26	77.1%	84.0%	85.4%	86.6%
グラゴル語	45	83.9%	85.3%	84.9%	87.4%
グルムキ	45	78.8%	78.7%	77.0%	78.0%
カンナダ語	41	64.6%	81.1%	73.3%	81.2%
ケブル	26	91.4%	95.1%	94.7%	94.3%
マラヤーラム語	47	73.5%	75.0%	72.7%	73.0%
マニプリ	40	82.8%	81.2%	85.8%	81.5%
モンゴル語	30	84.7%	89.0%	88.3%	90.2%
古い_教会_スラブ語_キリル語	45	89.9%	90.7%	88.7%	89.8%
おりや	46	56.5%	73.4%	63.2%	75.3%
シルヘティ	28	61.8%	68.2%	69.8%	80.6%
シリア_セルト	23	72.1%	82.0%	85.8%	89.8%
テンワール	25	67.7%	76.4%	82.5%	85.5%
チベット語	42	81.8%	80.2%	84.3%	81.9%
ULOG	26	53.3%	77.1%	73.0%	89.1%
- 平均 -		75.0%	82.5%	82.4%	85.7%

MCLとKCLを比較する

MCL の損失曲面は、KCL よりもクロスエントロピー (CE) に似ています。経験的に、MCL は KCL よりも早く収束しました。詳細については、ICLR の論文を参照してください。

関連アプリケーション

自動運転のための車線検出 / インスタンスのセグメンテーション

 @article{Hsu18_InsSeg,
	title =     {Learning to Cluster for Proposal-Free Instance Segmentation},
	author =    {Yen-Chang Hsu, Zheng Xu, Zsolt Kira, Jiawei Huang},
	booktitle = {accepted to the International Joint Conference on Neural Networks (IJCNN)},
	year =      {2018},
	url =       {https://arxiv.org/abs/1803.06459}
}