unsup parts下載 - unsup parts源代碼下載

unsup parts

其他源碼

下載

從對比重建中發現無監督的部分發現

Subhabrata Choudhury，Iro Laina，Christian Rupprecht，Andrea Vedaldi

設定

git clone https://github.com/subhc/unsup-parts.git
cd unsup-parts
conda env create --file environment.yml
conda activate unsup-parts
wget https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/files/checkpoints.tar.gz
tar zxvf checkpoints.tar.gz

該項目使用權重和偏見進行可視化，請在train.py中更新wandb_userid

數據準備：

CUB-200-2011

下載Cub_200_2011.tgz和segmentations.tgz從CUB-200-20011提供鏈接。
下載此處提到的cachedir.tar.gz。
在內部使用以下文件夾結構創建一個名稱的data ，並在上述位置提取TAR。
訓練一個細分網絡，以預測測試拆分的前景面具，或下載預先計算的輸出：cub_superviselabels.tar.gz（17MB）。

 data
└── CUB  # extract CUB_200_2011.tgz, cub_supervisedlabels.tar.gz here
    ├── CUB_200_2011 # extract cachedir.tar.gz and segmentations.tgz here       
    │   ├── attributes
    │   ├── cachedir
    │   ├── images
    │   ├── parts
    │   └── segmentations
    └── supervisedlabels

例子

mkdir -p data/CUB/
cd data/CUB/
tar zxvf CUB_200_2011.tgz 
tar zxvf cub_supervised_labels.tar.gz 
cd CUB_200_2011
tar zxvf segmentations.tgz
tar zxvf cachedir.tar.gz

深層時尚

使用下面的文件夾結構創建一個名稱命名的data 。
從DeepFashion提供的鏈接下載細分文件夾。
提取img_highres_seg.zip在segmentation文件夾中。
訓練一個細分網絡，以預測測試拆分或下載預先計算的輸出的前景面具：DeepFashion_superviseLabels.tar.gz（56MB）。

 data
└── DeepFashion
    └── In-shop Clothes Retrieval Benchmark  # extract deepfashion_supervisedlabels.tar.gz here
        ├── Anno  
        │   └── segmentation # extract img_highres_seg.zip here
        │       └── img_highres
        │           ├── MEN
        │           └── WOMEN
        └── supervisedlabels
            └── img_highres
                ├── MEN
                └── WOMEN

例子

mkdir -p data/DeepFashion/In-shop  Clothes  Retrieval  Benchmark/Anno/
cd data/DeepFashion/In-shop  Clothes  Retrieval  Benchmark/
wget https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/files/deepfashion_supervisedlabels.tar.gz
tar zxvf deepfashion_supervisedlabels.tar.gz
cd Anno
# get the segmentation folder from the google drive link
cd segmentation
unzip img_highres_seg.zip

訓練：

訓練幼崽：

python train.py dataset_name=CUB

訓練深層時尚：

python train.py dataset_name=DF

評估：

您可以在評估文件夾中找到評估代碼。

預處理的重量：

描述	尺寸	關聯
CUB-200-2011（PTH）	181MB	這裡
DeepFashion（PTH）	181MB	這裡
兩者（tar.gz）	351MB	這裡

請分別在checkpoints/CUB和checkpoints/DeepFashion文件夾中移動pth文件。

抽象的：

^{自我監督的視覺表示學習的目標是學習強大的，可轉移的圖像表示，大多數研究都集中在對像或場景層面上。另一方面，部分級別的表示學習的關註明顯較少。在本文中，我們提出了一種無監督的方法來反對零件發現和細分，並做出三個貢獻。首先，我們通過一組目標來構建代理任務，這些目標鼓勵模型將圖像的有意義分解為其部分。其次，先前的工作主張重建或聚類預先計算的特徵作為零件的代理。我們從經驗上表明，僅此一個就不太可能找到有意義的部分。主要是因為它們的分辨率低以及分類網絡在空間上塗抹信息的趨勢。我們建議，像素級別的圖像重建可以減輕此問題，充當互補提示。最後，我們表明，基於關鍵點回歸的標準評估與分割質量不太相關，因此引入了不同的指標NMI和ARI，可以更好地表徵對象分解為各個部分。我們的方法產生的語義部分是在細粒度但視覺上不同的類別中保持一致的，在三個基準數據集上表現出色的狀態。代碼可在項目頁面上找到。}

引用

 @inproceedings{choudhury21unsupervised,
 author = {Subhabrata Choudhury and Iro Laina and Christian Rupprecht and Andrea Vedaldi},
 booktitle = {Proceedings of Advances in Neural Information Processing Systems (NeurIPS)},
 title = {Unsupervised Part Discovery from Contrastive Reconstruction},
 year = {2021}
}