L2C下载 - L2C源码下载

L2C

Ai源码

1.0.0

下载

L2C：学习聚类

具有深度神经网络的聚类策略。这篇博客文章提供了一般概述。

介绍

该存储库提供了迁移学习方案 (L2C) 的 PyTorch 实现以及对深度聚类有用的两个学习标准：

元分类可能性 (MCL)* - 新闻：已被 ICLR2019 接受（标题：“没有多类标签的多类分类”）。
基于 KLD 的对比损失（KCL）

_{^{*由CCL更名而来}}

该存储库涵盖以下参考文献：

 @inproceedings{Hsu19_MCL,
	title =	    {Multi-class classification without multi-class labels},
	author =    {Yen-Chang Hsu, Zhaoyang Lv, Joel Schlosser, Phillip Odom, Zsolt Kira},
	booktitle = {International Conference on Learning Representations (ICLR)},
	year =      {2019},
	url =       {https://openreview.net/forum?id=SJzR2iRcK7}
}

@inproceedings{Hsu18_L2C,
	title =     {Learning to cluster in order to transfer across domains and tasks},
	author =    {Yen-Chang Hsu and Zhaoyang Lv and Zsolt Kira},
	booktitle = {International Conference on Learning Representations (ICLR)},
	year =      {2018},
	url =       {https://openreview.net/forum?id=ByRWCqvT-}
}

@inproceedings{Hsu16_KCL,
	title =	    {Neural network-based clustering using pairwise constraints},
	author =    {Yen-Chang Hsu and Zsolt Kira},
	booktitle = {ICLR workshop},
	year =      {2016},
	url =       {https://arxiv.org/abs/1511.06321}
}

准备

该存储库支持 PyTorch 1.0、python 2.7、3.6 和 3.7。

pip install -r requirements.txt

演示

仅具有成对相似性的监督分类/聚类

 # A quick trial:
python demo.py  # Default Dataset:MNIST, Network:LeNet, Loss:MCL
python demo.py --loss KCL

# Lookup available options:
python demo.py -h

# For more examples:
./scripts/exp_supervised_MCL_vs_KCL.sh

无监督聚类（跨任务迁移学习）

 # Learn the Similarity Prediction Network (SPN) with Omniglot_background and then transfer to the 20 alphabets in Omniglot_evaluation.
# Default loss is MCL with an unknown number of clusters (Set a large cluster number, i.e., k=100)
# It takes about half an hour to finish.
python demo_omniglot_transfer.py

# An example of using KCL and set k=gt_#cluster
python demo_omniglot_transfer.py --loss KCL --num_cluster -1

# Lookup available options:
python demo_omniglot_transfer.py -h

# Other examples:
./scripts/exp_unsupervised_transfer_Omniglot.sh

笔记

聚类结果高度依赖于相似性预测网络（SPN）的性能。为了进行公平比较，SPN 必须保持相同。我们的脚本通过随机初始化和随机数据采样来训练 SPN。 SPN 模型训练完成后，脚本将重用保存的 SPN 并避免训练新的 SPN。
下表显示了参考 SPN [下载] 的集群性能。将模型文件放入 /outputs 文件夹中，直接运行 demo_omniglot_transfer.py 生成“MCL(k=100)”列。
性能指标是聚类准确率（详细信息请参见L2C论文）。表中的每个值都是 3 次聚类运行的平均值。该存储库重用了 PyTorch 中的大部分实用程序，并且与参考论文中使用的基于 Lua 的实现不同。结果（带有“--Average--”的行）显示与论文相同的趋势，但绝对值有轻微差异。这里的 MCL 结果比论文要好。

数据集	gt #class	KCL (k=100)	MCL (k=100)	KCL (k=gt)	MCL (k=gt)
天使般的	20	73.2%	82.2%	89.0%	91.7%
Atemayar_Qelisayer	26	73.3%	89.2%	82.5%	86.0%
亚特兰蒂斯	26	65.5%	83.3%	89.4%	93.5%
奥雷克·贝什	26	88.4%	92.8%	91.5%	92.4%
阿维斯塔	26	79.0%	85.8%	85.4%	86.1%
Ge_ez	26	77.1%	84.0%	85.4%	86.6%
格拉哥里系	45	83.9%	85.3%	84.9%	87.4%
古尔穆基	45	78.8%	78.7%	77.0%	78.0%
卡纳达语	41	64.6%	81.1%	73.3%	81.2%
基布尔	26	91.4%	95.1%	94.7%	94.3%
马拉雅拉姆语	47	73.5%	75.0%	72.7%	73.0%
曼尼普里	40	82.8%	81.2%	85.8%	81.5%
蒙	30	84.7%	89.0%	88.3%	90.2%
旧教堂斯拉夫西里尔文	45	89.9%	90.7%	88.7%	89.8%
奥里亚语	46	56.5%	73.4%	63.2%	75.3%
锡尔赫蒂	28	61.8%	68.2%	69.8%	80.6%
叙利亚语_Serto	23	72.1%	82.0%	85.8%	89.8%
腾瓦	25	67.7%	76.4%	82.5%	85.5%
藏	42	81.8%	80.2%	84.3%	81.9%
乌洛格	26	53.3%	77.1%	73.0%	89.1%
- 平均的 -		75.0%	82.5%	82.4%	85.7%

比较 MCL 和 KCL

MCL 的损失表面比 KCL 更类似于交叉熵（CE）。根据经验，MCL 比 KCL 收敛得更快。详细内容请参考 ICLR 论文。

相关应用

自动驾驶车道检测/实例分割

 @article{Hsu18_InsSeg,
	title =     {Learning to Cluster for Proposal-Free Instance Segmentation},
	author =    {Yen-Chang Hsu, Zheng Xu, Zsolt Kira, Jiawei Huang},
	booktitle = {accepted to the International Joint Conference on Neural Networks (IJCNN)},
	year =      {2018},
	url =       {https://arxiv.org/abs/1803.06459}
}