Graphics LPIPS下載Graphics LPIPS源代碼下載

Graphics LPIPS

其他源碼

1.0.0

下載

Graphics-lpips

Graphics-LPIPS度量是最初設計用於圖像和知覺相似性任務的LPIP度量的擴展，我們適應了3D圖形和質量評估任務。 Graphics-lpips在頂部採用了學習線性權重的CNN，並用參考和扭曲的3D模型渲染圖像貼片餵養。 3D模型的整體質量是通過平均本地補丁質量得出的

該項目是我們論文的實施：紋理網格質量評估：大規模數據集和深度學習的質量指標。 YanaNehmé，Johanna Delanoy，Florent Dupont，Jean-Philippe Farrugia，Patrick Le Callet，GuillaumeLavoué

（0）依賴關係/設置

安裝

安裝Pytorch 1.0+和Torchvision fom http://pytorch.org

pip install -r requirements.txt

克隆這個倉庫：

git clone https://github.com/YanaNEHME/Graphics-LPIPS
cd Graphics-LPIPS

（1）關於度量的

Graphics-LPIP可以預測[0,1]之間的質量得分。圖形-LPIPS值越高，補丁越不同。

補丁的質量

腳本的示例，以計算參考補丁（P0）和扭曲的補丁（P1）之間的距離。您可以在參數（ -m或--modelpath ）中傳遞網絡使用的路徑，通常位於./checkpoints目錄中。要使用GPU，請打開`-use_gpu'gar'參數。輸出是扭曲貼片的預測質量評分。

 python GraphicsLpips_2imgs.py -p0 imgs/ex_ref.png -p1 imgs/ex_p0.png --use_gpu

3D型號的質量

腳本的示例來計算一組扭曲的3D圖形的質量。 3D型號的快照被修補（分為小斑塊）。每個模型獲得的補丁數量存儲在CSV文件中。 Graphics-LPIP估計了本地質量（即每個補丁），然後將模型的全球質量得分計算為本地貼片質量的平均值。

 python GraphicsLpips_csvFile.py -m './checkpoints/GraphicsLPIPS_FinalNetwork/latest_net_.pth' --use_gpu

（2）數據集

Graphics-LPIP經過了3000個紋理網格的具有挑戰性的數據集訓練和測試。該數據集是由55個源模型生成的，這些模型通過在網格的幾何形狀，紋理映射和紋理圖像上應用的5種類型的基於壓縮的扭曲的組合損壞。基於DSIS方法，在眾包中的大規模主觀實驗中對刺激進行了註釋。因此，每個刺激都與主觀質量得分又稱均值分數（MOS）相關。

下載數據集（3D型號及其扭曲版本，從其主要角度拍攝的刺激的快照，主觀分數）

使用數據集訓練和測試度量標準

Graphics-LPIP專為3D圖形和質量評估任務而設計。為了預測刺激的總體質量，我們修改了原始LPIPS度量，以：（1）小型網絡（G），在頂部進行訓練，適合MOS得分而不是偏好得分，以及（2）優化（損失計算）由圖像完成（而不是貼片）。

我們採用了具有固定權重的預訓練的Alexnet網絡，並在頂部學習了線性層的權重。為了訓練我們的模型，我們考慮了從與MOS分數相關的主要觀點拍攝的3D模型的圖像。圖像分為64x64的斑塊。
有關培訓和測試指標的示例，請參見腳本train.py and ./scripts/train_metric.txt 。這些腳本將在訓練集的隨機採樣刺激圖像的貼片上訓練模型，用於--nepoch + --nepoch_decay時期。
由於將相同圖像貼片計算的距離合併以進行損耗計算，因此不能在不同的批處理上分佈同一圖像的貼片。因此，使每個批次包含--nInputImg圖像，每個圖像由--npatches隨機採樣貼片表示。這導致批量大小為--nInputImg x --npatches補丁。反向傳播錯誤是批處理中圖像的平均損失。

在訓練過程中，將斑塊隨機採樣每個時期，以確保在訓練中使用盡可能多的圖像貼片。數據集中的80％的刺激用於訓練，為20％進行測試。主觀分數在[0,1] -0之間縮放：不察覺到的失真（最高質量），1：非常煩人的失真（質量最低）。

培訓將在checkpoints目錄中添加子目錄。

下載Patchified的數據集（用於訓練和測試度量），然後將其拉開為目錄./dataset

致謝

這項工作得到了法國國家研究局的支持，作為ANR-PISCO項目（ANR-17-CE33-0005）的一部分。

參考

YanaNehmé，Johanna Delanoy，Florent Dupont，Jean-Philippe Farrugia，Patrick Le Callet，GuillaumeLavoué，紋理網狀質量評估：大規模數據集和深度學習的質量質量度量，ACM圖形上的ACM交易，以及Siggraph 2023。