student teacher anomaly detection

生徒と教師の異常検出

これは、論文「情報を知らされていない学生: 差別的な潜在埋め込みによる学生と教師の異常検出」の実装です。

使用方法

• mvtec_dataset.sh スクリプトを実行して、MVTec データセットを正しい形式でダウンロードして準備します。これには約 5GB のディスク容量が必要です。

 ./mvtec_dataset.sh

• データフォルダーが利用できるようになっているはずです。データ内の各サブフォルダーにはカテゴリの名前が付いています。例として、カーペットカテゴリのモデルを構築してみましょう。

• (オプション) resnet18_training.py スクリプトを実行して、データセット上で resnet18 をさらにトレーニングします。

 cd src
python3 resnet18_training.py --dataset carpet

• Teacher_training.py を実行して、より小さなニューラル ネットワーク上で resnet18 の知識を抽出します。これにより、画像の処理が高速化されます。 Teacher と呼ばれるこのニューラル ネットワークは、画像のサイズ <patch_size> のパッチごとに 512 次元の記述ベクトルを出力します。サポートされている patch_size 値は次のとおりです。
  • サイズ = 17、小さいサイズの異常を探す場合に効果的
  • サイズ = 33、中程度のサイズの異常を探す場合に効果的
  • サイズ = 65、大きなサイズの異常を探している場合に効果的

 cd src
python3 teacher_training.py --dataset carpet --patch_size 33 

• students_training.py を実行して、教師ネットワークに対して M=3 人の生徒のセットをトレーニングします。学生のトレーニングは、異常のないデータセット上で行われます。異常を含む画像では一般化が不十分であることが予想されます

 cd src
python students_training.py --dataset carpet --patch_size 33 --n_students 3

• anomaly_detection.py を実行して、テスト セットの各イメージの異常マップを取得します。異常マップは、生徒の予測の分散と、生徒の予測と教師の間の誤差を使用して計算されます。

 cd src
python anomaly_detection.py --dataset carpet --patch_size 33 --n_students 3

結果

/resultフォルダーの下にはさらに多くの結果が表示されます

パフォーマンス

参考文献

原紙

• https://arxiv.org/pdf/1911.02357v2.pdf

MVTec データセットに関するペーパー

• https://openaccess.thecvf.com/content_CVPR_2019/papers/Bergmann_MVTec_AD_--_A_Comprehensive_Real-World_Dataset_for_Unsupervised_Anomaly_CVPR_2019_paper.pdf

高速で高密度の特徴抽出

• https://www.dfki.de/fileadmin/user_upload/import/9245_FastCNNFeature_BMVC.pdf
• https://github.com/erezposner/Fast_Dense_Feature_Extraction