unsup parts

Неконтролируемое обнаружение части от контрастной реконструкции

Subhabrata Choudhury, Iro Laina, Christian Rupprecht, Andrea Vedaldi

Настраивать

git clone https://github.com/subhc/unsup-parts.git
cd unsup-parts
conda env create --file environment.yml
conda activate unsup-parts
wget https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/files/checkpoints.tar.gz
tar zxvf checkpoints.tar.gz

Проект использует веса и смещения для визуализации, пожалуйста, обновите wandb_userid в train.py для вашего имени пользователя

Подготовка данных:

Cub-200-2011

1. Загрузите CUB_200_2011.tgz и сегментации.tgz от Cub-200-2011, предоставленных ссылок.
2. Скачать cachedir.tar.gz, упомянутый здесь.
3. Создайте каталог с именем data со следующей структурой папок внутри и извлеките TAR в упомянутых местах.
4. Обучите сегментацию сети для прогнозирования масок переднего плана для разделения тестирования или загрузить предварительные выходы: cub_supervisedlabels.tar.gz (17 МБ).

 data
└── CUB  # extract CUB_200_2011.tgz, cub_supervisedlabels.tar.gz here
    ├── CUB_200_2011 # extract cachedir.tar.gz and segmentations.tgz here       
    │   ├── attributes
    │   ├── cachedir
    │   ├── images
    │   ├── parts
    │   └── segmentations
    └── supervisedlabels

Пример

mkdir -p data/CUB/
cd data/CUB/
tar zxvf CUB_200_2011.tgz 
tar zxvf cub_supervised_labels.tar.gz 
cd CUB_200_2011
tar zxvf segmentations.tgz
tar zxvf cachedir.tar.gz

DeepFashion

1. Создайте каталог с именем data со структурой папок ниже.
2. Загрузите папку сегментации из DeepFashion, предоставленные ссылки.
3. Извлеките img_highres_seg.zip внутри папки segmentation .
4. Обучите сегментацию сети, чтобы предсказать маски переднего плана для разделения тестирования или загрузить предварительные выходы: DeepFashion_SupervisedLabels.tar.gz (56 МБ).

 data
└── DeepFashion
    └── In-shop Clothes Retrieval Benchmark  # extract deepfashion_supervisedlabels.tar.gz here
        ├── Anno  
        │   └── segmentation # extract img_highres_seg.zip here
        │       └── img_highres
        │           ├── MEN
        │           └── WOMEN
        └── supervisedlabels
            └── img_highres
                ├── MEN
                └── WOMEN

Пример

mkdir -p data/DeepFashion/In-shop  Clothes  Retrieval  Benchmark/Anno/
cd data/DeepFashion/In-shop  Clothes  Retrieval  Benchmark/
wget https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/files/deepfashion_supervisedlabels.tar.gz
tar zxvf deepfashion_supervisedlabels.tar.gz
cd Anno
# get the segmentation folder from the google drive link
cd segmentation
unzip img_highres_seg.zip

Обучение:

Тренировать детеныша:

python train.py dataset_name=CUB

Тренировать DeepFashion:

python train.py dataset_name=DF

Оценка:

Вы можете найти код оценки в папке оценки.

Предварительно выложенные веса:

Описание	Размер	Связь
Cub-200-2011 (PTH)	181 МБ	здесь
DeepFashion (PTH)	181 МБ	здесь
Оба (tar.gz)	351 МБ	здесь

Пожалуйста, переместите файлы pth в checkpoints/CUB и checkpoints/DeepFashion папки соответственно.

Абстрактный:

^{Цель самоотверженного обучения визуального представления состоит в том, чтобы выучить сильные, передаваемые изображения, причем большинство исследований сосредоточены на уровне объекта или сцены. С другой стороны, обучение представительства на уровне детали получило значительно меньше внимания. В этой статье мы предлагаем неконтролируемый подход к обнаружению и сегментации объектов и внесем три вклада. Во -первых, мы строим прокси -задачу с помощью набора целей, которые побуждают модель изучать значимое разложение изображения в его части. Во-вторых, предыдущая работа утверждает, что реконструкция или кластеризация предварительно выкомпированных функций как прокси к частям; Мы эмпирически показываем, что это вряд ли найдет значимые части; Главным образом из -за их низкого разрешения и тенденции классификационных сетей к пространственному размалыванию информации. Мы предполагаем, что реконструкция изображения на уровне пикселей может облегчить эту проблему, выступая в качестве дополнительного сигнала. Наконец, мы показываем, что стандартная оценка, основанная на регрессии клавиш, плохо коррелирует с качеством сегментации и, таким образом, вводит различные метрики, NMI и ARI, которые лучше характеризуют разложение объектов в части. Наш метод дает семантические части, которые согласуются по мелкозернистым, но визуально различным категориям, опережая состояние искусства на трех наборах данных. Код доступен на странице проекта.}

Цитирование

 @inproceedings{choudhury21unsupervised,
 author = {Subhabrata Choudhury and Iro Laina and Christian Rupprecht and Andrea Vedaldi},
 booktitle = {Proceedings of Advances in Neural Information Processing Systems (NeurIPS)},
 title = {Unsupervised Part Discovery from Contrastive Reconstruction},
 year = {2021}
}

Подтверждение

Код в значительной степени основан на SCOPS.