AdaBoost_Seg

AdaBoost_Seg

このリポジトリでは、論文「ドメイン適応のためのアダプティブ ブースティング: シーン セグメンテーションにおける堅牢な予測に向けて」のコードを提供します。

[論文] [中文解读]

初期モデル

ucmerced の元の DeepLab リンクが失敗します。以下のリンクをご利用ください。

[Google ドライブ] https://drive.google.com/file/d/1BMTTMCNkV98pjZh_rU0Pp47zeVqF3MEc/view?usp=share_link

【ワンドライブ】 https://1drv.ms/u/s!Avx-MJllNj5b3SqR7yurCxTgIUOK?e=A1dq3m

または使用します

 pip install gdown
pip install --upgrade gdown
gdown 1BMTTMCNkV98pjZh_rU0Pp47zeVqF3MEc

ニュース

• より多くの「硬い」サンプルは悪影響を及ぼしますか?シミュレーションするにはどうすればよいですか? (https://github.com/layumi/AdaBoost_Seg/blob/master/Toy_Example.md)
• 半教師あり Cifar10 の評価 (https://github.com/layumi/Cifar10-Adaboost)
• AdaBoost の簡単な説明は、英語版 [こちら] および中国語版 [中文介绍] でご覧いただけます。

ヒント

1. この方法を他の分野に採用する場合は、タスクとデータセットに合わせて温度に応じてサンプリングの重みを調整することをお勧めします。本稿では変更せずに 1 のままとします。

2. 私たちの最近の実験では、論文で報告されている数値より 49.72% (MRNet+Ours) という優れたパフォーマンスを達成できました。集約モデルが収束すると、広告ブースト サンプラーの更新が遅くなり、パフォーマンスも低下すると考えられます。サンプラーを更新するために最近のスナップショットにより多くの重みを与えると、より適切に機能します。

python train_ms.py --snapshot-dir ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0_recent  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se  --swa  --swa_start 0 --adaboost --recent

目次

• 前提条件
• データの準備
• トレーニング
• テスト
• 訓練されたモデル
• キーコード
• 関連作品
• 引用

前提条件

• Python 3.6
• GPU メモリ >= 14G (例: RTX6000 または V100)
• ピトーチ

データの準備

[GTA5] と [Cityscapes] をダウンロードして基本コードを実行します。あるいは、[SYNTHIA] と [OxfordRobotCar] から追加の 2 つのデータセットをダウンロードすることもできます。

• GTA5 データセットをダウンロードする

• SYNTHIA データセット SYNTHIA-RAND-CITYSCAPES (CVPR16) をダウンロードする

• 都市景観データセットをダウンロードする

• オックスフォード ロボットカー データセットをダウンロードする

データフォルダーは次のような構造になっています。

 ├── data/
│   ├── Cityscapes/  
|   |   ├── data/
|   |       ├── gtFine/
|   |       ├── leftImg8bit/
│   ├── GTA5/
|   |   ├── images/
|   |   ├── labels/
|   |   ├── ...
│   ├── synthia/ 
|   |   ├── RGB/
|   |   ├── GT/
|   |   ├── Depth/
|   |   ├── ...
│   └── Oxford_Robot_ICCV19
|   |   ├── train/
|   |   ├── ...

トレーニング

• GTA5 から都市景観へ(ResNet-101)

ステージ I: (約 49.0%)

python train_ms.py --snapshot-dir ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se  --swa  --swa_start 0 --adaboost

疑似ラベルの生成:

python generate_plabel_cityscapes.py --restore ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth

ステージ II (修正された疑似ラベル付き): (約 50.9%)

python train_ft.py --snapshot-dir ./snapshots/Adaboost_1280x640_restore_ft48_GN_batchsize2_960x480_pp_ms_me0_classbalance7_kl0_lr4_drop0.2_seg0.5_BN_80_255_0.8_Noaug_swa2.5W_t97 --restore-from ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth  --drop 0.2 --warm-up 5000 --batch-size 2 --learning-rate 4e-4 --crop-size 960,480 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 80 --max-value 7 --gpu-ids 0 --often-balance --use-se --input-size 1280,640 --train_bn --autoaug False --swa --adaboost --swa_start 25000 --threshold 97

• シンシアから街並みへ

ステージ I:

python train_ms_synthia.py --snapshot-dir ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5  --drop 0.1 --warm-up 5000 --batch-size 2 --learning-rate 2e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0  --often-balance  --use-se --swa --swa_start 0 --adaboost  

疑似ラベルの生成:

python generate_plabel_cityscapes_SYNTHIA.py --restore ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5/GTA5_50000_average.pth

ステージ II:

python train_ft_synthia.py --snapshot-dir ./snapshots/Cosine_Adaboost_SY_1280x640_restore_ft_GN_batchsize8_512x256_pp_ms_me0_classbalance7_kl0.1_lr8_drop0.1_seg0.5_BN_255_Noaug_t777_swa2.5W --restore ./snapshots/AdaBoost_SWA_SY_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_power0.5/GTA5_50000_average.pth --drop 0.1 --warm-up 5000 --batch-size 8 --learning-rate 8e-4 --crop-size 512,256 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 50 --max-value 7 --gpu-ids 0 --often-balance  --use-se  --input-size 1280,640    --autoaug False   --swa --swa_start 25000 --threshold 777 --adaboost --train_bn  --cosine

• 都市景観からオックスフォードへのロボットカー

ステージ I: (約 73.80%) 紙よりも高い。

python train_ms_robot.py --snapshot-dir ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6  --drop 0.1 --warm-up 5000 --batch-size 6 --learning-rate 6e-4 --crop-size 800,400 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0,1,2  --often-balance  --use-se  --swa --swa_start 30000 --adaboost  --sam

疑似ラベルの生成:

python generate_plabel_robot.py --restore ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6/GTA5_70000_average.pth

ステージ II: (約 75.62%)

python train_ft_robot.py --snapshot-dir ./snapshots/Adaboost_0.9RB_b3_lr3_800x432_97_swa0W_T80 --restore-from  ./snapshots/Adaboost_SWA3W_Robot_SE_GN_batchsize6_adapative_kl0.1_sam_lr6/GTA5_70000_average.pth   --drop 0.1 --warm-up 5000 --batch-size 3 --learning-rate 3e-4 --crop-size 800,432 --lambda-seg 0.5 --lambda-adv-target1 0 --lambda-adv-target2 0 --lambda-me-target 0 --lambda-kl-target 0 --norm-style gn --class-balance --only-hard-label 50 --max-value 7 --gpu-ids 0,1,2 --often-balance  --use-se  --input-size 1280,960  --train_bn --adaboost --swa --swa_start 0  --threshold 0.8 --autoaug False

アブレーション研究

• GTA5 から都市景観 (VGG-16)

ステージ I: (約 39.5%)

python train_ms.py --snapshot-dir ./snapshots/255VGGBN_Adaboost_SWA_SE_GN_batchsize3_1024x512_pp_ms_me0_classbalance7_kl0.1_lr3_drop0.1_seg0.5_swa0_auto  --drop 0.1 --warm-up 5000 --batch-size 3 --learning-rate 3e-4 --crop-size 1024,512 --lambda-seg 0.5  --lambda-adv-target1 0.0002 --lambda-adv-target2 0.001   --lambda-me-target 0  --lambda-kl-target 0.1  --norm-style gn  --class-balance  --only-hard-label 80  --max-value 7  --gpu-ids 0,1,2  --often-balance  --use-se  --swa  --swa_start 0 --adaboost  --model DeepVGG --autoaug 

テスト

python evaluate_cityscapes.py --restore-from ./snapshots/ReRUN_Adaboost_SWA_SE_GN_batchsize2_1024x512_pp_ms_me0_classbalance7_kl0.1_lr2_drop0.1_seg0.5_swa0/GTA5_40000_average.pth

訓練されたモデル

トレーニング済みモデルは [Wait] で入手できます。

• 名前にSYが含まれるフォルダーは SYNTHIA-to-Cityscapes 用です
• 名前にRBが付いているフォルダーは、Cityscapes-to-Robot Car 用です。

キーコード

コアコードは比較的シンプルなので、他の作品に直接適用できます。

アダプティブ データ サンプラー: https://github.com/layumi/AdaBoost_Seg/blob/master/train_ms.py#L429-L436

学生の集計: https://github.com/layumi/AdaBoost_Seg/blob/master/train_ms.py#L415-L427

関連作品

また、以下のような素晴らしい作品に感謝の意を表します。

• https://github.com/layumi/Seg-Uncertainty
• https://github.com/wasidennis/AdaptSegNet
• https://github.com/RoyalVane/CLAN
• https://github.com/yzou2/CRST

引用

 @article { zheng2021adaboost ,
  title = { Adaptive Boosting for Domain Adaptation: Towards Robust Predictions in Scene Segmentation } ,
  author = { Zheng, Zhedong and Yang, Yi } ,
  journal = { IEEE Transactions on Image Processing } ,
  doi = { 10.1109/TIP.2022.3195642 } ,
  note = { mbox{doi}:url{10.1109/TIP.2022.3195642} } ,
  year = { 2021 }
}