Graphics LPIPS

Grafik-LPIPS

Metrik Graphics-LPIPS adalah perpanjangan dari metrik LPIPS yang awalnya dirancang untuk gambar dan tugas kesamaan persepsi, yang kami adaptasi untuk tugas grafik 3D dan penilaian kualitas. Graphics-LPIPS menggunakan CNNs dengan belajar bobot linier di atas, diberi makan dengan referensi dan tambalan yang terdistorsi dari gambar yang diberikan dari model 3D. Kualitas keseluruhan model 3D diturunkan dengan rata -rata kualitas tambalan lokal

Proyek ini adalah implementasi dari makalah kami: penilaian kualitas jala bertekstur: dataset skala besar dan metrik kualitas berbasis pembelajaran yang mendalam. Yana Nehmé, Johanna Delanoy, Florent Dupont, Jean-Philippe Farrugia, Patrick Le Callet, Guillaume Lavoué

(0) Ketergantungan/Pengaturan

Instalasi

• Instal PyTorch 1.0+ dan TorchVision fom http://pytorch.org

pip install -r requirements.txt

• Klon repo ini:

git clone https://github.com/YanaNEHME/Graphics-LPIPS
cd Graphics-LPIPS

(1) Tentang metrik

Graphics-LPIPS memprediksi skor kualitas berkisar antara [0,1]. Semakin tinggi nilai grafis-lpips, semakin berbeda tambalannya.

Kualitas tambalan

Contoh skrip untuk menghitung jarak antara tambalan referensi (P0) dan tambalan terdistorsi (P1). Anda dapat meneruskan parameter ( -m atau --modelpath ) jalur jaringan untuk digunakan, biasanya terletak di direktori ./checkpoints . Untuk menggunakan GPU, nyalakan parameter `--use_gpu``. Outputnya adalah skor kualitas yang diprediksi dari tambalan yang terdistorsi.

 python GraphicsLpips_2imgs.py -p0 imgs/ex_ref.png -p1 imgs/ex_p0.png --use_gpu

Kualitas model 3D

Contoh skrip untuk menghitung kualitas satu set grafik 3D yang terdistorsi. Snapshot dari model 3D ditambal (dibagi menjadi tambalan kecil). Jumlah tambalan yang diperoleh untuk setiap model disimpan dalam file CSV. Graphics-LPIPS memperkirakan kualitas lokal (yaitu per tambalan), maka skor kualitas global model dihitung sebagai rata-rata kualitas tambalan lokal.

 python GraphicsLpips_csvFile.py -m './checkpoints/GraphicsLPIPS_FinalNetwork/latest_net_.pth' --use_gpu

(2) Dataset

Graphics-LPIPS dilatih dan diuji pada dataset yang menantang dari 3000 jerat bertekstur. Dataset dihasilkan dari 55 model sumber yang rusak dengan kombinasi 5 jenis distorsi berbasis kompresi yang diterapkan pada geometri, pemetaan tekstur dan gambar tekstur jerat. Stimulus dianotasi dalam percobaan subyektif skala besar dalam crowdsourcing, berdasarkan metode DSIS. Dengan demikian, setiap stimulus dikaitkan dengan skor kualitas subyektif alias skor opini rata -rata (MOS).

Unduh dataset (model 3D dan versi mereka yang terdistorsi, snapshot rangsangan yang diambil dari sudut pandang utama mereka, skor subyektif)

Menggunakan dataset untuk melatih dan menguji metrik

Graphics-LPIPS dirancang untuk tugas grafik 3D dan penilaian kualitas. Untuk memprediksi kualitas keseluruhan stimulus, kami memodifikasi metrik LPIPs asli sehingga: (1) jaringan kecil (g), dilatih di atas, sesuai dengan skor MOS alih -alih skor preferensi, dan (2) optimasi (komputasi kerugian ) dilakukan per gambar (bukannya tambalan-bijaksana).

Kami menggunakan jaringan Alexnet yang sudah terlatih dengan bobot tetap dan mempelajari bobot lapisan linier di atasnya. Untuk melatih model kami, kami mempertimbangkan gambar model 3D yang diambil dari sudut pandang utama mereka yang kami hubungkan dengan skor MOS. Gambar dibagi menjadi beberapa petak ukuran 64x64.
Lihat skrip train.py dan ./scripts/train_metric.txt untuk contoh pelatihan dan pengujian metrik. Script akan melatih model pada tambalan sampel gambar stimulus secara acak dari set pelatihan, untuk --nepoch + --nepoch_decay zaman.
Karena jarak yang dihitung untuk tambalan dari gambar yang sama digabungkan untuk perhitungan kerugian, tambalan dari gambar yang sama tidak dapat didistribusikan pada batch yang berbeda. Dengan demikian, setiap batch dibuat untuk berisi --nInputImg gambar, masing -masing diwakili oleh --npatches patch sampel secara acak. Ini menghasilkan ukuran batch --nInputImg x --npatches patch. Kesalahan backpropagated adalah kerugian rata -rata atas gambar dalam batch.

Selama pelatihan, tambalan diambil sampelnya secara acak setiap zaman untuk memastikan bahwa sebanyak mungkin tambalan gambar yang berbeda digunakan dalam pelatihan. 80% dari rangsangan dalam dataset digunakan untuk pelatihan dan 20% untuk pengujian. Skor subyektif diskalakan antara [0,1] - 0: distorsi yang tidak terlihat (kualitas tertinggi), 1: distorsi yang sangat menjengkelkan (kualitas terendah).

Pelatihan akan menambahkan subdirektori di direktori checkpoints .

Unduh dataset yang ditentang (digunakan untuk melatih dan menguji metrik), dan unzip ke direktori ./dataset

Ucapan Terima Kasih

Pekerjaan ini didukung oleh Badan Penelitian Nasional Prancis sebagai bagian dari proyek ANR-PISCO (ANR-17-CE33-0005).

Referensi

Yana Nehmé, Johanna Delanoy, Florent DuPont, Jean-Philippe Farrugia, Patrick Le Callet, Guillaume Lavoué, penilaian kualitas jala bertekstur: dataset skala besar dan metrik kualitas pembelajaran mendalam, transaksi ACM pada grafik, yang harus disajikan di Siggraph 2023.

Lisensi

Metrik grafis-LPIPS adalah hak cipta dari University of Lyon, 2022. Ini didistribusikan di bawah Lisensi Publik Mozilla v. 2.0. (Lihat LICENSE-MPL2.txt atau salinan di http://mozilla.org/mpl/2.0/)