AdaBoost_Seg

AdaBoost_Seg

В этом репозитории мы предоставляем код для статьи «Адаптивное повышение для адаптации предметной области: к надежным прогнозам в сегментации сцены».

[Бумага]

Начальная модель

Исходная ссылка ucmerced на DeepLab не удалась. Пожалуйста, воспользуйтесь следующей ссылкой.

[Google Диск] https://drive.google.com/file/d/1BMTTMCNkV98pjZh_rU0Pp47zeVqF3MEc/view?usp=share_link

[Один диск] https://1drv.ms/u/s!Avx-MJllNj5b3SqR7yurCxTgIUOK?e=A1dq3m

или используйте

 pip install gdown
pip install --upgrade gdown
gdown 1BMTTMCNkV98pjZh_rU0Pp47zeVqF3MEc

Новости

• Будут ли более «жесткие» образцы иметь отрицательный эффект? Как моделировать? (https://github.com/layumi/AdaBoost_Seg/blob/master/Toy_Example.md)
• Оценка Cifar10 с полуконтролем (https://github.com/layumi/Cifar10-Adaboost)
• Краткая иллюстрация AdaBoost на английском языке [Здесь] и на китайском [中文介绍]

Советы

1. При применении этого метода в других областях мы предлагаем настроить вес выборки в зависимости от температуры в соответствии с вашей задачей и набором данных. В этой статье мы не меняем его и оставляем равным 1.

2. В нашем недавнем эксперименте мы можем достичь более высокой производительности (49,72%) (MRNet+Ours), чем указано в статье. Мы считаем, что когда агрегированная модель сходится, сэмплер adboost обновляется медленно, что также снижает производительность. Если мы придадим больший вес последним снимкам для обновления сэмплера, это будет работать лучше.

python train_ms.py --snapshot-dir ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0_recent  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se  --swa  --swa_start 0 --adaboost --recent

Оглавление

• Предварительные условия
• Подготовьте данные
• Обучение
• Тестирование
• Обученная модель
• Ключевой код
• Похожие работы
• Цитирование

Предварительные условия

• Питон 3.6
• Память графического процессора >= 14 ГБ (например, RTX6000 или V100)
• Пайторч

Подготовьте данные

Загрузите [GTA5] и [Cityscapes], чтобы запустить базовый код. Кроме того, вы можете загрузить дополнительные два набора данных из [SYNTHIA] и [OxfordRobotCar].

• Загрузите набор данных GTA5

• Загрузить набор данных SYNTHIA SYNTHIA-RAND-CITYSCAPES (CVPR16)

• Скачать набор данных Cityscapes

• Загрузите набор данных Oxford RobotCar

Папка данных имеет следующую структуру:

 ├── data/
│   ├── Cityscapes/  
|   |   ├── data/
|   |       ├── gtFine/
|   |       ├── leftImg8bit/
│   ├── GTA5/
|   |   ├── images/
|   |   ├── labels/
|   |   ├── ...
│   ├── synthia/ 
|   |   ├── RGB/
|   |   ├── GT/
|   |   ├── Depth/
|   |   ├── ...
│   └── Oxford_Robot_ICCV19
|   |   ├── train/
|   |   ├── ...

Обучение

• GTA5 для городских пейзажей (ResNet-101)

Стадия-I: (около 49,0%)

python train_ms.py --snapshot-dir ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se  --swa  --swa_start 0 --adaboost

Создать псевдометку:

python generate_plabel_cityscapes.py --restore ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth

Стадия-II (с повторной псевдометкой): (около 50,9%)

python train_ft.py --snapshot-dir ./snapshots/Adaboost_1280x640_restore_ft48_GN_batchsize2_960x480_pp_ms_me0_classbalance7_kl0_lr4_drop0.2_seg0.5_BN_80_255_0.8_Noaug_swa2.5W_t97 --restore-from ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth  --drop 0.2 --warm-up 5000 --batch-size 2 --learning-rate 4e-4 --crop-size 960,480 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 80 --max-value 7 --gpu-ids 0 --often-balance --use-se --input-size 1280,640 --train_bn --autoaug False --swa --adaboost --swa_start 25000 --threshold 97

• СИНТИЯ в городские пейзажи

Этап-I:

python train_ms_synthia.py --snapshot-dir ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se --swa --swa_start 0 --adaboost  

Создать псевдометку:

python generate_plabel_cityscapes_SYNTHIA.py --restore ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5/GTA5_50000_average.pth

Этап-II:

python train_ft_synthia.py --snapshot-dir ./snapshots/Cosine_Adaboost_SY_1280x640_restore_ft_GN_batchsize8_512x256_pp_ms_me0_classbalance7_kl0.1_lr8_drop0.1_seg0.5_BN_255_Noaug_t777_swa2.5W --restore ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5/GTA5_50000_average.pth --drop 0.1 --warm-up 5000 --batch-size 8 --learning-rate 8e-4 --crop-size 512,256 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 50 --max-value 7 --gpu-ids 0 --often-balance  --use-se  --input-size 1280,640    --autoaug False   --swa --swa_start 25000 --threshold 777 --adaboost --train_bn  --cosine

• Городские пейзажи в Оксфорде RobotCar

Этап-I: (около 73,80%) выше, чем у бумаги.

python train_ms_robot.py --snapshot-dir ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6  --drop 0.1 --warm-up 5000 --batch-size 6 --learning-rate 6e-4 --crop-size 800,400 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0,1,2  --often-balance  --use-se  --swa --swa_start 30000 --adaboost  --sam

Создать псевдометку:

python generate_plabel_robot.py --restore ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6/GTA5_70000_average.pth

Стадия-II: (около 75,62%)

python train_ft_robot.py --snapshot-dir ./snapshots/Adaboost_0.9RB_b3_lr3_800x432_97_swa0W_T80 --restore-from  ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6/GTA5_70000_average.pth   --drop 0.1 --warm-up 5000 --batch-size 3 --learning-rate 3e-4 --crop-size 800,432 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 50 --max-value 7 --gpu-ids 0,1,2 --often-balance  --use-se  --input-size 1280,960  --train_bn --adaboost --swa --swa_start 0  --threshold 0.8 --autoaug False

Исследования абляции

• GTA5 для городских пейзажей (VGG-16)

Стадия-I: (около 39,5%)

python train_ms.py --snapshot-dir ./snapshots/255VGGBN_Adaboost_SWA_SE_GN_batchsize3_1024x512_pp_ms_me0_classbalance7_kl0.1_lr3_drop0.1_seg0.5_swa0_auto  --drop 0.1 --warm-up 5000 --batch-size 3 --learning-rate 3e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0,1,2  --often-balance  --use-se  --swa  --swa_start 0 --adaboost  --model DeepVGG --autoaug 

Тестирование

python evaluate_cityscapes.py --restore-from ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth

Обученная модель

Обученная модель доступна по адресу [Подождать]

• Папка с именем SY предназначена для SYNTHIA-to-Cityscapes.
• Папка с именем RB предназначена для Cityscapes-to-Robot Car.

Ключевой код

Основной код относительно прост и может быть напрямую применен к другим работам.

Адаптивный образец данных: https://github.com/layumi/AdaBoost_Seg/blob/master/train_ms.py#L429-L436.

Агрегация студентов: https://github.com/layumi/AdaBoost_Seg/blob/master/train_ms.py#L415-L427

Похожие работы

Мы также хотели бы поблагодарить замечательные работы следующим образом:

• https://github.com/layumi/Seg-Uncertainty
• https://github.com/wasidennis/AdaptSegNet
• https://github.com/RoyalVane/CLAN
• https://github.com/yzou2/CRST

Цитирование

 @article { zheng2021adaboost ,
  title = { Adaptive Boosting for Domain Adaptation: Towards Robust Predictions in Scene Segmentation } ,
  author = { Zheng, Zhedong and Yang, Yi } ,
  journal = { IEEE Transactions on Image Processing } ,
  doi = { 10.1109/TIP.2022.3195642 } ,
  note = { mbox{doi}:url{10.1109/TIP.2022.3195642} } ,
  year = { 2021 }
}