unsup parts

Penemuan bagian tanpa pengawasan dari rekonstruksi kontras

Subhabrata Choudhury, Iro Laina, Christian Rupprecht, Andrea Vedaldi

Pengaturan

git clone https://github.com/subhc/unsup-parts.git
cd unsup-parts
conda env create --file environment.yml
conda activate unsup-parts
wget https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/files/checkpoints.tar.gz
tar zxvf checkpoints.tar.gz

Proyek ini menggunakan bobot & bias untuk visualisasi, harap perbarui wandb_userid di train.py untuk nama pengguna Anda

Persiapan Data:

Cub-200-2011

1. Unduh Cub_200_2011.tgz dan Segmentations.tgz dari Cub-200-2011 yang disediakan tautan.
2. Unduh Cachedir.tar.gz yang disebutkan di sini.
3. Buat direktori bernama data dengan struktur folder berikut di dalam dan ekstrak tar di lokasi yang disebutkan.
4. Latih jaringan segmentasi untuk memprediksi masker latar depan untuk pemisahan tes, atau unduh output yang telah dialokasikan: cub_supervisedlabels.tar.gz (17MB).

 data
└── CUB  # extract CUB_200_2011.tgz, cub_supervisedlabels.tar.gz here
    ├── CUB_200_2011 # extract cachedir.tar.gz and segmentations.tgz here       
    │   ├── attributes
    │   ├── cachedir
    │   ├── images
    │   ├── parts
    │   └── segmentations
    └── supervisedlabels

Contoh

mkdir -p data/CUB/
cd data/CUB/
tar zxvf CUB_200_2011.tgz 
tar zxvf cub_supervised_labels.tar.gz 
cd CUB_200_2011
tar zxvf segmentations.tgz
tar zxvf cachedir.tar.gz

Deepfashion

1. Buat data Direktori bernama dengan struktur folder di bawah ini.
2. Unduh folder segmentasi dari tautan yang disediakan oleh DeepFashion.
3. Ekstrak img_highres_seg.zip folder segmentation di dalam.
4. Latih jaringan segmentasi untuk memprediksi masker latar depan untuk pemisahan tes, atau unduh output yang telah dialokasikan: Deepfashion_SupervisedLabels.tar.gz (56MB).

 data
└── DeepFashion
    └── In-shop Clothes Retrieval Benchmark  # extract deepfashion_supervisedlabels.tar.gz here
        ├── Anno  
        │   └── segmentation # extract img_highres_seg.zip here
        │       └── img_highres
        │           ├── MEN
        │           └── WOMEN
        └── supervisedlabels
            └── img_highres
                ├── MEN
                └── WOMEN

Contoh

mkdir -p data/DeepFashion/In-shop  Clothes  Retrieval  Benchmark/Anno/
cd data/DeepFashion/In-shop  Clothes  Retrieval  Benchmark/
wget https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/files/deepfashion_supervisedlabels.tar.gz
tar zxvf deepfashion_supervisedlabels.tar.gz
cd Anno
# get the segmentation folder from the google drive link
cd segmentation
unzip img_highres_seg.zip

Pelatihan:

Untuk melatih Cub:

python train.py dataset_name=CUB

Untuk melatih Deepfashion:

python train.py dataset_name=DF

Evaluasi:

Anda dapat menemukan kode evaluasi di folder evaluasi.

Bobot pretrained:

Keterangan	Ukuran	Link
Cub-200-2011 (PTH)	181MB	Di Sini
Deepfashion (PTH)	181MB	Di Sini
Keduanya (tar.gz)	351MB	Di Sini

Harap pindahkan file pth di checkpoints/CUB dan checkpoints/DeepFashion masing -masing.

Abstrak:

^{Tujuan dari pembelajaran representasi visual yang di-swadaya adalah untuk mempelajari representasi gambar yang kuat dan dapat ditransfer, dengan sebagian besar penelitian yang berfokus pada tingkat objek atau adegan. Di sisi lain, pembelajaran representasi pada tingkat bagian telah mendapat perhatian yang jauh lebih sedikit. Dalam makalah ini, kami mengusulkan pendekatan tanpa pengawasan untuk penemuan dan segmentasi bagian objek dan memberikan tiga kontribusi. Pertama, kami membangun tugas proxy melalui serangkaian tujuan yang mendorong model untuk mempelajari dekomposisi gambar yang bermakna menjadi bagian -bagiannya. Kedua, pekerjaan sebelumnya berpendapat untuk merekonstruksi atau mengelompokkan fitur yang telah dikomputasi sebelumnya sebagai proxy ke bagian; Kami menunjukkan secara empiris bahwa ini saja tidak mungkin menemukan bagian yang bermakna; Terutama karena resolusi rendahnya dan kecenderungan jaringan klasifikasi untuk mengolesi informasi secara spasial. Kami menyarankan agar rekonstruksi gambar pada tingkat piksel dapat mengurangi masalah ini, bertindak sebagai isyarat pelengkap. Terakhir, kami menunjukkan bahwa evaluasi standar berdasarkan regresi keypoint tidak berkorelasi baik dengan kualitas segmentasi dan dengan demikian memperkenalkan berbagai metrik, NMI dan ARI, yang lebih baik mengkarakterisasi dekomposisi objek menjadi bagian -bagian. Metode kami menghasilkan bagian-bagian semantik yang konsisten di seluruh kategori berbutir halus tetapi berbeda secara visual, mengungguli keadaan seni pada tiga dataset benchmark. Kode tersedia di halaman proyek.}

Kutipan

 @inproceedings{choudhury21unsupervised,
 author = {Subhabrata Choudhury and Iro Laina and Christian Rupprecht and Andrea Vedaldi},
 booktitle = {Proceedings of Advances in Neural Information Processing Systems (NeurIPS)},
 title = {Unsupervised Part Discovery from Contrastive Reconstruction},
 year = {2021}
}

Pengakuan

Kode sebagian besar didasarkan pada SCOP.