BEV_group4下載 - BEV_group4原始碼下載

BEV_group4

其他源碼

下載

從單眼相機影像到 BEV - 改善行人偵測

昆汀‧德爾福斯，格洛麗亞‧梅利南德

該程式碼基於現有的 Image to BEV 深度學習模型而構建，該模型基於論文《將圖像翻譯成地圖》。該程式碼是使用 python 3.7 編寫的。並接受了 nuScenes 資料集的訓練。請參閱儲存庫的自述文件以取得要安裝的依賴項和資料集。

使用程式碼

第一步是建立一個名為「translation-images-into-maps-main」的資料夾並將所有檔案下載到其中。然後，由於文件較大，我們訓練的最新檢查點和用於驗證的迷你 nuScenes 資料集可以從此 Google Drive 下載。這些資料夾應直接加入到「translated-images-into-maps-main」目錄中。

以下是此儲存庫所需的庫的清單：

 opencv
numpy
pyquaternion
shapely
lmdb
nuscenes-devkit
pillow
matplotlib
torchvision
descartes
scipy
tensorboard
scikit-image
cv2

主要命令列參數

若要使用此儲存庫的功能，可能需要變更以下命令列參數：

 --name: name of the experiment
--video-name: name of the video file within the video root and without extension
--savedir: directory to save experiments to
--val-interval: number of epochs between validation runs
--root: directory of the repository
--video-root: absolute directory to the video input
--nusc-version: nuscenes version (either “v1.0-mini” or “v1.0-trainval” for the full US dataset)
--train-split: training split (either “train_mini" or “train_roddick” for the full US dataset)
--val-split: validation split (either “val_mini" or “val_roddick” for the full US dataset)
--data-size: percentage of dataset to train on
--epochs: number of epochs to train for
--batch-size: batch size
--cuda-available: environment used (0 for cpu, 1 for cuda)
--iou: iou metric used (0 for iou, 1 for diou)

至於訓練模型，可以修改這些命令列參數：

 --optimizer: optimizer for gradient descent to run during training. Default: adam
--lr: learning rate. Default: 5e-5
--momentum: momentum for Stochastic gradient descent. Default: 0.9
--weight-decay: weight decay. Default: 1e-4
--lr-decay: learning rate decay. Default: 0.99

數據集

NuScenes Mini 和 Full 資料集可以在以下位置找到：

NuScene 迷你：

Google 雲端硬碟：https://drive.google.com/drive/folders/1IZCGg1rXx8bkA2eUY1sjk9PAR64_vzHV?usp=share_link
Scitas：/work/scitas-share/datasets/Vita/civil-459/Nuscenes_bev

NuScenes 完整美國版：

Scitas：/work/scitas-share/datasets/Vita/civil-459/NuScenes_full/US

由於 NuScene 迷你資料集和完整資料集不具有相同的影像輸入格式（lmdb 或 png），因此需要對程式碼進行一些修改才能使用其中一種：

將mini參數變更為 false 以使用迷你資料集以及train.py 、 validation.py和inference.py檔案中的 args 路徑和分割。

    data = nuScenesMaps (
        root = args . root ,
        split = args . val_split ,
        grid_size = args . grid_size ,
        grid_res = args . grid_res ,
        classes = args . load_classes_nusc ,
        dataset_size = args . data_size ,
        desired_image_size = args . desired_image_size ,
        mini = True ,
        gt_out_size = ( 200 , 200 ),
    )

    loader = DataLoader (
        data ,
        batch_size = args . batch_size ,
        shuffle = False ,
        num_workers = 0 ,
        collate_fn = src . data . collate_funcs . collate_nusc_s ,
        drop_last = True ,
        pin_memory = True
    )

註解/取消註解data_loader.py函數的第 151-153 或 146-149 行：

 # if mini:
image_input_key = pickle . dumps ( id , protocol = 3 )
with self . images_db . begin () as txn :
    value = txn . get ( key = image_input_key )
    image = Image . open ( io . BytesIO ( value )). convert ( mode = 'RGB' )
# else:
# original_nusenes_dir = "/work/scitas-share/datasets/Vita/civil-459/NuScenes_full/US/samples/CAM_FRONT"
# new_cam_path = os.path.join(original_nusenes_dir, Path(cam_path).name)
# image = Image.open(new_cam_path).convert(mode='RGB')

檢查站

預訓練的檢查點可以在這裡找到：

Scitas：/work/scitas-share/datasets/Vita/civil-459/Nuscenes_bev/pretrained_models/27_04_23_11_08
Google 雲端硬碟：https://drive.google.com/drive/folders/1z2pZ6RM0d0gsSXmK-jGxJ9VKoXGtlB5t?usp=share_link。

檢查點需要保存在該儲存庫根目錄的/pretrained_models/27_04_23_11_08中。如果您想從另一個目錄載入它們，請變更以下參數：

 - - savedir = "pretrained_models" # Careful, this path is relative in validation.py but global in train.py
- - name = "27_04_23_11_08"

訓練

要訓練 scitas，您需要從根目錄啟動以下腳本：

 sbatch job.script.sh

在 cpu 上進行本地訓練：

 python3 train.py

確保使用命令列參數調整腳本。

驗證

要驗證 scitas 上的模型性能：

 sbatch job.validate.sh

在 cpu 上進行本地訓練：

 python3 validate.py

確保使用命令列參數調整腳本。

推理

要推斷有關 scitas 的影片：

 sbatch job.evaluate.sh

在 cpu 上進行本地訓練：

 python3 inference.py

確保使用命令列參數調整腳本，尤其是：

 --batch-size // 1 for the test videos
--video-name
--video-root

專案背景

該計畫是在自動駕駛汽車深度學習課程 CIVIL-459 的背景下完成的，該課程由 EPFL 的 Alexandre Alahi 教授教授。指導老師是博士生劉躍江。該課程項目的主要目標是開發可在特斯拉自動駕駛系統上使用的深度學習模型。對於我們這組來說，我們一直在研究從單眼相機影像到鳥瞰圖的轉變。這可以透過使用語義分割對汽車、人行道、行人和地平線等元素進行分類來完成。

在我們對單眼影像到 BEV 深度學習模型的研究過程中，我們注意到在分割過程中行人的資訊遺失，導致分類效果不佳。如下圖所示，在評估時，我們選擇的模型在 nuScenes 資料集上的 14 類物件上達到了 25.7% IoU（並集交集）的平均值。可駕駛車輛的預測準確度良好 (74.5%)，但自行車、障礙物和拖車的預測準確度相當差。然而，對行人的預測準確度（9.5%）太低了。如果有人在沒有到達十字路口的情況下過馬路，如此低的準確度可能會導致事故。

有關我們研究的更多資訊可以在 Drive 上找到。

貢獻

由於對行人的檢測不佳似乎是目前訓練模型最直接的問題，因此我們的目標是透過研究更適合的損失函數並在 nuScenes 資料集上訓練新模型來提高準確性。

我們建立的模型是使用 $借單$損失函數，具有尺度不變性，用於邊界框迴歸。 $借單$測量地面實況和模型預測邊界框之間的重疊，而不考慮定位精度。因此一個高 $借單$並不意味著正確的本地化。這也會導緻小邊界框尺寸（行人、自行車）的錯誤，因為它們更難以準確定位。

另一個問題是 $借單$其缺點是對極端縱橫比的檢測很差，這種情況可以在行人中發現（盒子的長度通常遠大於寬度）。

$$L_{IoU} = 1-{{|B cap B_{gt}|} over {|B cup B_{gt}|}}$$

$L_{借條}$是 $借單$損失。 $B_{gt}$是真實邊界框，而 $B$是預測的邊界框。

這 $DIoU$ （距離 IoU）損失函數解決了許多這樣的問題。

$$D_{IoU} = 1 - IoU + {{rho^2(b,b_{gt})} over {c^2}}$$

$b_{gt}$是真實邊界框的中心點，而 $b$是預測邊界框的中心點。 $rho^2(b,b_{gt})$ ，或者 $d$是真實資料中心和預測邊界框中心之間的 L2 距離。

它使用 L2 範數來最小化預測框和目標框之間的距離，並且收斂速度比 $借單$ ，特別是在非重疊的情況下[1]。與邊界框之間的距離相關的懲罰項使演算法對框大小不太敏感，並提高了檢測較小物體的準確性。它還考慮了盒子的水平和垂直方向，從而更好地檢測極端的縱橫比（見下圖）。綠色是預測框，紅色是目標框。

水平伸展

垂直拉伸

此外，DIoU 損失引入了一個正則化項，可以促進平滑收斂。

如下圖所示， $DIoU$損失函數鼓勵預測框快速收斂到地面真值框。

研究階段結束後，我們實施了 $DIoU$ /src/utils.py檔案中的bbox_overlaps_diou函數中的損失，透過使用 $DIoU$上面給出的公式。

然後使用該函數來計算多尺度 $借單$和 $DIoU$在同一檔案的compute_multiscale_iou函數中。對於每個班級， $DIoU$或者 $借單$ （在iou輸入參數的函數中）是根據批次大小計算的。此函數的輸出是一個字典iou_dict其中包含多尺度 $借單$每個樣本和規模以及每個樣本的類別計數值 $借單$ 。

然後我們在train.py中使用這些值，其中 $借單$和 $DIoU$損失被計算為評估指標，並在每個val-interval epoch 運行一次的評估中使用。這些值也用在validation.py中，用來顯示損失和 $借單$ s 在驗證批次上。

我們從提供的檢查點checkpoint-008.pth.gz開始在 NuScenes 資料集上訓練模型，一次使用 $DIoU$損失函數，另一次與標準 $借單$損失作為參考。這是使用 EPFL 的計算設備 SCITAS 完成的。

另一個貢獻是新的視覺化格式，可以更好地區分類別與所有對應的標籤和 IoU 值。這是在visualization.py檔案中實現的。

最後，我們致力於實現一種模式，該模式將.mp4視訊作為輸入並將它們分解為單獨的圖像幀。然後模型將對其進行評估，我們可以在inference.py檔案中視覺化分割結果。

結果

培訓和驗證結果

為了初步了解該模型的訓練策略，我們首先決定在 NuScenes 迷你資料集上進行訓練。從checkpoint-008.pth.gz開始，我們能夠訓練兩個使用 IoU 指標不同的模型（一個是 IoU，另一個是 DIoU）。下表列出了經過 10 個 epoch 訓練後在 NuScenes 小批量上獲得的結果。

在查看這些結果後，我們發現我們的假設所依據的行人類別根本沒有提供結論性的結果。因此，我們得出結論，迷你資料集不足以滿足我們的需求，並決定將我們的訓練轉移到 Scitas 的完整資料集。

在從checkpoint-008.pth.gz訓練我們的新模型（使用 DIoU 或 IoU）8 個新時期後，我們觀察到了有希望的結果。為了比較這些新訓練的模型的效能，我們對迷你資料集執行了驗證步驟。下面提供了該資料集影像結果的可視化。

在這裡， $借單$指標用於驗證模型。我們可以注意到，使用以下方法訓練的模型的準確性 $DIoU$指標超過了依照標準訓練的指標 $借單$ 。此外，在使用 $DIoU$訓練，這往往支持我們的假設 $DIoU$更擅長對影像中較小的物體進行分類。然而，需要更完整的數據集才能真正驗證這一說法。因此，基於一批 NuScenes 迷你資料集計算了一個表格，以比較一系列影像上的兩個模型。結果如下。

這些結果最終顯示出更好的性能 $DIoU$培訓超過 $借單$一種針對行人等小群體，在兩種情況下 $DIoU$和 $借單$驗證運行。的影響 $DIoU$可以進一步觀察訓練 $DIoU$驗證運行（表的最後 2 行）作為效能之間的差異 $DIoU$經過訓練的網路和 $借單$訓練過的比使用時大 $借單$驗證指標。

推理結果

現在我們有了經過訓練的模型，我們可以用它來使用任何輸入圖像或影片來預測 BEV。雖然我們的目標是在課程的最終演示中實施我們的方法，但不幸的是，推斷的鳥瞰圖表現不夠。下圖顯示了所提供的測試影片之一的推理結果（請參閱測試影片）。

我們認為推理表現的缺乏是由於以下參數造成的：

由於影片中未提供模型所需的相機校準參數，因此我們必須從 NuScenes Mini 資料集中取得這些參數，假設將使用類似的相機來推斷影像。
其次，相機的方向和定位在車內而不是在車前是出乎意料的。由於影像必須沿其寬度進行裁剪，因此沿該軸執行的縮放操作以適應模型的輸入格式可能會改變要預測的物件的幾何形狀，超出模型的性能。