分段任意邊緣檢測

此儲存庫提供了使用分段任意模型 (SAM) [1] 的自動遮罩產生 (AMG) 執行邊緣偵測的程式碼。由於論文中使用的程式碼目前尚未向公眾開放，因此該實作基於論文中提供的描述。

左圖取自 BSDS。中間是真實邊緣。右側的影像是應用邊緣偵測的結果。

碼頭工人

該存儲庫旨在在 Docker 環境中運行。如果您不熟悉 Docker，請設定torch==1.11.0的環境並相應安裝 docker/requirements.txt 中列出的軟體包。

建造

請建立一個 Docker 映像，如下所示：

docker build -t ${USER} /samed docker

跑步

如果可能，應避免以 root 身分執行。例如，參考docker文件正確設定-u選項。

如果您不介意以 root 身分執行，可以如下執行 Docker 容器：

docker run --rm -it --name samed_container 
--gpus device=0 
-v $PWD :/working 
${USER} /samed bash

數據

BSDS500

從官方網站下載 BSDS500 [2] 資料集。

如果您無法下載它，以下鏡像儲存庫可能會有所幫助。

https://github.com/BIDS/BSDS500

然後準備如下目錄結構：

data/BSDS500/
    ├── groundTruth
    │   └── test
    │       ├── 100007.mat
    │       ├── 100039.mat
    │       ...
    │       
    └── images
        ├── test
        │   ├── 100007.jpg
        │   ├── 100039.jpg
        │   ...
        │
        ├── train
        └── val

紐約大學v2

從 EDTER 下載 NYUDv2 [3] 測試資料集。然後準備如下目錄結構：

data/NYUDv2/
    ├── groundTruth
    │   └── test
    │       ├── img_5001.mat
    │       ├── img_5002.mat
    │       ...
    │       
    └── images
        ├── test
        │   ├── img_5001.png
        │   ├── img_5002.png
        │   ...
        │
        ├── train
        └── val

模型

建立一個目錄來下載模型，如下：

mkdir model

薩姆

下載SAM模型如下：

wget -P model https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth

邊緣網管系統

在原始論文[1]中，邊緣NMS使用Canny邊緣NMS[4]。然而，在我們的環境中，它並沒有產生論文中報告的邊緣。因此，我們暫時使用OpenCV的Structured Forests [5]模型進行邊緣NMS。

下載結構化森林模型如下：

wget -P model https://cdn.rawgit.com/opencv/opencv_extra/3.3.0/testdata/cv/ximgproc/model.yml.gz

預言

若要產生上面的圖像，請執行以下操作：

 python example.py

輸出結果在output/example中產生。

預測邊緣如下：

python pipeline.py --dataset BSDS500 --data_split test

用於初始化SamAutomaticMaskAndProbabilityGenerator的其他參數可以如下傳遞。

  -h, --help            show this help message and exit
  --dataset DATASET     BSDS500 or NYUDv2
  --data_split DATA_SPLIT
                        train, val, or test
  --points_per_side POINTS_PER_SIDE
                        Number of points per side.
  --points_per_batch POINTS_PER_BATCH
                        Number of points per batch
  --pred_iou_thresh PRED_IOU_THRESH
                        Prediction IOU threshold
  --stability_score_thresh STABILITY_SCORE_THRESH
                        Stability score threshold
  --stability_score_offset STABILITY_SCORE_OFFSET
                        Stability score offset
  --box_nms_thresh BOX_NMS_THRESH
                        NMS threshold for box suppression
  --crop_n_layers CROP_N_LAYERS
                        Number of layers to crop
  --crop_nms_thresh CROP_NMS_THRESH
                        NMS threshold for cropping
  --crop_overlap_ratio CROP_OVERLAP_RATIO
                        Overlap ratio for cropping
  --crop_n_points_downscale_factor CROP_N_POINTS_DOWNSCALE_FACTOR
                        Downscale factor for number of points in crop
  --min_mask_region_area MIN_MASK_REGION_AREA
                        Minimum mask region area
  --output_mode OUTPUT_MODE
                        Output mode of the mask generator
  --nms_threshold NMS_THRESHOLD
                        NMS threshold
  --bzp BZP             boundary zero padding
  --pred_iou_thresh_filtering
                        filter by pred_iou_thresh
  --stability_score_thresh_filtering
                        filter by stability_score_thresh
  --kernel_size KERNEL_SIZE
                        kernel size

有關邊界零填充的更多詳細信息，請參閱[6]。

輸出結果在output_${dataset}/exp${exp_num}/${data_split}中產生。

評估

我們使用 py-bsds500 進行邊緣檢測。一些錯誤已被修復並移植到py-bsds500目錄。使用以下命令編譯擴充模組：

 cd py-bsds500
python setup.py build_ext --inplace

然後評估 ODS、OIS 和 AP，如下所示：

 cd py-bsds500/
python evaluate_parallel.py ../data/BSDS500 ../output/BSDS500/exp ${exp} / test --max_dist 0.0075
python evaluate_parallel.py ../data/NYUDv2 ../output/NYUDv2/exp ${exp} / test --max_dist 0.011

請注意，根據先前的工作，BSDS500 的本地化容差設定為 0.0075，NYUDv2 的本地化容差設定為 0.011。