unsup parts

การค้นพบชิ้นส่วนที่ไม่ได้รับการดูแลจากการสร้างใหม่

Subhabrata Choudhury, Iro Laina, Christian Rupprecht, Andrea Vedaldi

การตั้งค่า

git clone https://github.com/subhc/unsup-parts.git
cd unsup-parts
conda env create --file environment.yml
conda activate unsup-parts
wget https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/files/checkpoints.tar.gz
tar zxvf checkpoints.tar.gz

โครงการใช้น้ำหนักและอคติสำหรับการสร้างภาพโปรดอัปเดต wandb_userid ใน train.py ชื่อผู้ใช้ของคุณ

การเตรียมข้อมูล:

Cub-200-2011

1. ดาวน์โหลด cub_200_2011.tgz และ segmentations.tgz จาก CUB-200-2011 ที่ให้ไว้
2. ดาวน์โหลด cachedir.tar.gz ที่กล่าวถึงที่นี่
3. สร้างไดเรกทอรีที่มีชื่อว่า data ที่มีโครงสร้างโฟลเดอร์ต่อไปนี้และแยก TARS ที่ตำแหน่งดังกล่าว
4. ฝึกอบรมเครือข่ายการแบ่งส่วนเพื่อทำนายมาสก์เบื้องหน้าสำหรับการแยกการทดสอบหรือดาวน์โหลดเอาต์พุตที่คำนวณได้: cub_supervisedlabels.tar.gz (17MB)

 data
└── CUB  # extract CUB_200_2011.tgz, cub_supervisedlabels.tar.gz here
    ├── CUB_200_2011 # extract cachedir.tar.gz and segmentations.tgz here       
    │   ├── attributes
    │   ├── cachedir
    │   ├── images
    │   ├── parts
    │   └── segmentations
    └── supervisedlabels

ตัวอย่าง

mkdir -p data/CUB/
cd data/CUB/
tar zxvf CUB_200_2011.tgz 
tar zxvf cub_supervised_labels.tar.gz 
cd CUB_200_2011
tar zxvf segmentations.tgz
tar zxvf cachedir.tar.gz

แฟชั่นลึก

1. สร้างไดเรกทอรีที่มีชื่อว่า data ที่มีโครงสร้างโฟลเดอร์ด้านล่าง
2. ดาวน์โหลดโฟลเดอร์การแบ่งส่วนจากลิงก์ที่ให้บริการ DeepFashion
3. แยก IMG_HIGHRES_SEG.ZIP ภายในโฟลเดอร์ segmentation
4. ฝึกอบรมเครือข่ายการแบ่งส่วนเพื่อทำนายมาสก์เบื้องหน้าสำหรับการแยกการทดสอบหรือดาวน์โหลดเอาท์พุทที่คำนวณล่วงหน้า: DeepFashion_SupervisedLabels.tar.gz (56MB)

 data
└── DeepFashion
    └── In-shop Clothes Retrieval Benchmark  # extract deepfashion_supervisedlabels.tar.gz here
        ├── Anno  
        │   └── segmentation # extract img_highres_seg.zip here
        │       └── img_highres
        │           ├── MEN
        │           └── WOMEN
        └── supervisedlabels
            └── img_highres
                ├── MEN
                └── WOMEN

ตัวอย่าง

mkdir -p data/DeepFashion/In-shop  Clothes  Retrieval  Benchmark/Anno/
cd data/DeepFashion/In-shop  Clothes  Retrieval  Benchmark/
wget https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/files/deepfashion_supervisedlabels.tar.gz
tar zxvf deepfashion_supervisedlabels.tar.gz
cd Anno
# get the segmentation folder from the google drive link
cd segmentation
unzip img_highres_seg.zip

การฝึกอบรม:

เพื่อฝึก Cub:

python train.py dataset_name=CUB

เพื่อฝึก DeepFashion:

python train.py dataset_name=DF

การประเมิน:

คุณสามารถค้นหารหัสการประเมินผลในโฟลเดอร์การประเมินผล

น้ำหนักที่ได้รับการปรับปรุง:

คำอธิบาย	ขนาด	การเชื่อมโยง
CUB-200-2011 (PTH)	181MB	ที่นี่
DeepFashion (PTH)	181MB	ที่นี่
ทั้งสอง (tar.gz)	351MB	ที่นี่

โปรดย้ายไฟล์ pth ใน checkpoints/CUB และ checkpoints/DeepFashion ตามลำดับ

เชิงนามธรรม:

^{เป้าหมายของการเรียนรู้การเป็นตัวแทนของการแสดงภาพด้วยตนเองคือการเรียนรู้การเป็นตัวแทนภาพที่แข็งแกร่งและถ่ายโอนได้โดยการวิจัยส่วนใหญ่มุ่งเน้นไปที่ระดับวัตถุหรือฉาก ในทางกลับกันการเรียนรู้การเป็นตัวแทนในระดับส่วนได้รับความสนใจน้อยกว่าอย่างมาก ในบทความนี้เราเสนอวิธีการที่ไม่ได้รับการดูแลในการค้นพบชิ้นส่วนและการแบ่งส่วนและทำการบริจาคสามครั้ง อันดับแรกเราสร้างงานพร็อกซีผ่านชุดของวัตถุประสงค์ที่กระตุ้นให้แบบจำลองเรียนรู้การสลายตัวของภาพที่มีความหมายในส่วนของมัน ประการที่สองการทำงานก่อนหน้านี้โต้แย้งว่าการสร้างใหม่หรือการจัดกลุ่มคุณสมบัติที่คำนวณไว้ล่วงหน้าเป็นพร็อกซีไปยังชิ้นส่วน; เราแสดงให้เห็นว่าสิ่งนี้เพียงอย่างเดียวไม่น่าจะหาส่วนที่มีความหมาย ส่วนใหญ่เป็นเพราะความละเอียดต่ำและแนวโน้มของเครือข่ายการจำแนกประเภทเพื่อละเลงข้อมูลเชิงพื้นที่ เราแนะนำว่าการสร้างภาพการสร้างภาพในระดับพิกเซลสามารถบรรเทาปัญหานี้ได้ซึ่งทำหน้าที่เป็นคิวเสริม สุดท้ายเราแสดงให้เห็นว่าการประเมินมาตรฐานตามการถดถอยของจุดคีย์ไม่ได้มีความสัมพันธ์ที่ดีกับคุณภาพการแบ่งส่วนและทำให้เกิดตัวชี้วัดที่แตกต่างกัน NMI และ ARI ซึ่งเป็นลักษณะการสลายตัวของวัตถุออกเป็นชิ้นส่วนได้ดีขึ้น วิธีการของเราให้ผลผลิตความหมายซึ่งสอดคล้องกันในหมวดหมู่ที่มีความละเอียด แต่มีความแตกต่างกันอย่างละเอียดสูงกว่าสถานะของศิลปะในชุดข้อมูลมาตรฐานสามชุด รหัสสามารถใช้ได้ที่หน้าโครงการ}

การอ้างอิง

 @inproceedings{choudhury21unsupervised,
 author = {Subhabrata Choudhury and Iro Laina and Christian Rupprecht and Andrea Vedaldi},
 booktitle = {Proceedings of Advances in Neural Information Processing Systems (NeurIPS)},
 title = {Unsupervised Part Discovery from Contrastive Reconstruction},
 year = {2021}
}

การรับทราบ

รหัสส่วนใหญ่ขึ้นอยู่กับ SCOPS