AdaBoost_Seg Download – AdaBoost_Seg Quellcode-Download

AdaBoost_Seg

In diesem Repo stellen wir den Code für den Artikel „Adaptive Boosting for Domain Adaptation: Towards Robust Predictions in Scene Segmentation“ bereit.

[Papier] [中文解读]

Ausgangsmodell

Der ursprüngliche DeepLab-Link von ucmerced ist fehlgeschlagen. Bitte nutzen Sie den folgenden Link.

[Google Drive] https://drive.google.com/file/d/1BMTTMCNkV98pjZh_rU0Pp47zeVqF3MEc/view?usp=share_link

[Ein Laufwerk] https://1drv.ms/u/s!Avx-MJllNj5b3SqR7yurCxTgIUOK?e=A1dq3m

oder verwenden

 pip install gdown
pip install --upgrade gdown
gdown 1BMTTMCNkV98pjZh_rU0Pp47zeVqF3MEc

Nachricht

Werden sich mehr „harte“ Proben negativ auswirken? Wie simulieren? (https://github.com/layumi/AdaBoost_Seg/blob/master/Toy_Example.md)
Evaluierung auf halbüberwachtem Cifar10 (https://github.com/layumi/Cifar10-Adaboost)
Eine kurze Illustration von AdaBoost auf Englisch unter [Hier] und auf Chinesisch [中文介绍]

Tipps

Wenn Sie diese Methode auf andere Bereiche anwenden, empfehlen wir, das Probengewicht mit der Temperatur abzustimmen, um es an Ihre Aufgabe und Ihren Datensatz anzupassen. In diesem Artikel ändern wir es nicht und behalten es bei 1.
In unserem jüngsten Experiment konnten wir eine um 49,72 % (MRNet+Ours) bessere Leistung erzielen als die im Papier angegebene Zahl. Wir glauben, dass der Adboost-Sampler bei der Konvergenz des aggregierten Modells langsam aktualisiert wird, was ebenfalls die Leistung beeinträchtigt. Wenn wir den aktuellen Snapshots für die Aktualisierung des Samplers mehr Gewichtung zuweisen, funktioniert es besser.

python train_ms.py --snapshot-dir ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0_recent  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se  --swa  --swa_start 0 --adaboost --recent

Inhaltsverzeichnis

Voraussetzungen
Daten vorbereiten
Ausbildung
Testen
Ausgebildetes Modell
Der Schlüsselcode
Verwandte Werke
Zitat

Voraussetzungen

Python 3.6
GPU-Speicher >= 14G (z. B. RTX6000 oder V100)
Pytorch

Daten vorbereiten

Laden Sie [GTA5] und [Cityscapes] herunter, um den Basiscode auszuführen. Alternativ können Sie zwei zusätzliche Datensätze von [SYNTHIA] und [OxfordRobotCar] herunterladen.

Laden Sie den GTA5-Datensatz herunter
Laden Sie den SYNTHIA-Datensatz SYNTHIA-RAND-CITYSCAPES (CVPR16) herunter.
Laden Sie den Cityscapes-Datensatz herunter
Laden Sie den Oxford RobotCar-Datensatz herunter

Der Datenordner ist wie folgt aufgebaut:

 ├── data/
│   ├── Cityscapes/  
|   |   ├── data/
|   |       ├── gtFine/
|   |       ├── leftImg8bit/
│   ├── GTA5/
|   |   ├── images/
|   |   ├── labels/
|   |   ├── ...
│   ├── synthia/ 
|   |   ├── RGB/
|   |   ├── GT/
|   |   ├── Depth/
|   |   ├── ...
│   └── Oxford_Robot_ICCV19
|   |   ├── train/
|   |   ├── ...

Ausbildung

GTA5 zu Stadtlandschaften (ResNet-101)

Stufe I: (ca. 49,0 %)

python train_ms.py --snapshot-dir ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se  --swa  --swa_start 0 --adaboost

Pseudo-Label generieren:

python generate_plabel_cityscapes.py --restore ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth

Stufe II (mit rezitierendem Pseudoetikett): (ca. 50,9 %)

python train_ft.py --snapshot-dir ./snapshots/Adaboost_1280x640_restore_ft48_GN_batchsize2_960x480_pp_ms_me0_classbalance7_kl0_lr4_drop0.2_seg0.5_BN_80_255_0.8_Noaug_swa2.5W_t97 --restore-from ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth  --drop 0.2 --warm-up 5000 --batch-size 2 --learning-rate 4e-4 --crop-size 960,480 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 80 --max-value 7 --gpu-ids 0 --often-balance --use-se --input-size 1280,640 --train_bn --autoaug False --swa --adaboost --swa_start 25000 --threshold 97

SYNTHIA zu Stadtansichten

Stufe I:

python train_ms_synthia.py --snapshot-dir ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se --swa --swa_start 0 --adaboost

Pseudo-Label generieren:

python generate_plabel_cityscapes_SYNTHIA.py --restore ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5/GTA5_50000_average.pth

Stufe II:

python train_ft_synthia.py --snapshot-dir ./snapshots/Cosine_Adaboost_SY_1280x640_restore_ft_GN_batchsize8_512x256_pp_ms_me0_classbalance7_kl0.1_lr8_drop0.1_seg0.5_BN_255_Noaug_t777_swa2.5W --restore ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5/GTA5_50000_average.pth --drop 0.1 --warm-up 5000 --batch-size 8 --learning-rate 8e-4 --crop-size 512,256 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 50 --max-value 7 --gpu-ids 0 --often-balance  --use-se  --input-size 1280,640    --autoaug False   --swa --swa_start 25000 --threshold 777 --adaboost --train_bn  --cosine

Stadtansichten bis Oxford RobotCar

Stufe I: (ca. 73,80 %) höher als bei Papier.

python train_ms_robot.py --snapshot-dir ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6  --drop 0.1 --warm-up 5000 --batch-size 6 --learning-rate 6e-4 --crop-size 800,400 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0,1,2  --often-balance  --use-se  --swa --swa_start 30000 --adaboost  --sam

Pseudo-Label generieren:

python generate_plabel_robot.py --restore ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6/GTA5_70000_average.pth

Stufe II: (ca. 75,62 %)

python train_ft_robot.py --snapshot-dir ./snapshots/Adaboost_0.9RB_b3_lr3_800x432_97_swa0W_T80 --restore-from  ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6/GTA5_70000_average.pth   --drop 0.1 --warm-up 5000 --batch-size 3 --learning-rate 3e-4 --crop-size 800,432 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 50 --max-value 7 --gpu-ids 0,1,2 --often-balance  --use-se  --input-size 1280,960  --train_bn --adaboost --swa --swa_start 0  --threshold 0.8 --autoaug False

Ablationsstudien

GTA5 zu Stadtansichten (VGG-16)

Stufe I: (ca. 39,5 %)

python train_ms.py --snapshot-dir ./snapshots/255VGGBN_Adaboost_SWA_SE_GN_batchsize3_1024x512_pp_ms_me0_classbalance7_kl0.1_lr3_drop0.1_seg0.5_swa0_auto  --drop 0.1 --warm-up 5000 --batch-size 3 --learning-rate 3e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0,1,2  --often-balance  --use-se  --swa  --swa_start 0 --adaboost  --model DeepVGG --autoaug

Testen

python evaluate_cityscapes.py --restore-from ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth

Ausgebildetes Modell

Das trainierte Modell ist verfügbar unter [Warten]

Der Ordner mit SY im Namen ist für SYNTHIA-to-Cityscapes
Der Ordner mit dem Namen RB ist für Cityscapes-to-Robot Car

Der Schlüsselcode

Der Kerncode ist relativ einfach und könnte direkt auf andere Werke angewendet werden.

Adaptiver Daten-Sampler: https://github.com/layumi/AdaBoost_Seg/blob/master/train_ms.py#L429-L436

Studentenaggregation: https://github.com/layumi/AdaBoost_Seg/blob/master/train_ms.py#L415-L427

Zitat

 @article { zheng2021adaboost ,
  title = { Adaptive Boosting for Domain Adaptation: Towards Robust Predictions in Scene Segmentation } ,
  author = { Zheng, Zhedong and Yang, Yi } ,
  journal = { IEEE Transactions on Image Processing } ,
  doi = { 10.1109/TIP.2022.3195642 } ,
  note = { mbox{doi}:url{10.1109/TIP.2022.3195642} } ,
  year = { 2021 }
}