Graphics LPIPS 다운로드 - Graphics LPIPS 소스 코드 다운로드

Graphics LPIPS

기타 소스코드

1.0.0

다운로드

그래픽 lpips

Graphics-LPIPS 메트릭은 3D 그래픽 및 품질 평가 작업에 적응 한 이미지 및 지각 유사성 작업을 위해 원래 설계된 LPIPS 메트릭의 확장입니다. Graphics-LPIPS는 상단에 선형 가중치를 학습하는 CNN을 사용하며, 참조를 공급하고 3D 모델의 렌더링 된 이미지의 패치를 왜곡합니다. 3D 모델의 전반적인 품질은 로컬 패치 품질을 평균하여 도출됩니다.

이 프로젝트는 본 논문의 구현입니다. 텍스처 메쉬 품질 평가 : 대규모 데이터 세트 및 딥 러닝 기반 품질 메트릭. Yana Nehmé, Johanna Delanoy, Florent Dupont, Jean-Philippe Farrugia, Patrick Le Callet, Guillaume Lavoué

(0) 종속성/설정

설치

Pytorch 1.0+ 및 Torchvision fom http://pytorch.org를 설치하십시오

pip install -r requirements.txt

이 저장소를 복제하십시오.

git clone https://github.com/YanaNEHME/Graphics-LPIPS
cd Graphics-LPIPS

(1) 메트릭에 대해

그래픽 -LPIPS는 [0,1] 사이의 품질 점수를 예측합니다. 그래픽 -LPIPS 값이 높을수록 패치가 다릅니다.

패치의 품질

기준 패치 (P0)와 왜곡 된 패치 (P1) 사이의 거리를 계산하는 스크립트의 예. 일반적으로 ./checkpoints 디렉토리에 위치한 네트워크의 경로를 매개 변수 ( -m 또는 --modelpath )로 전달할 수 있습니다. gpu를 사용하려면`-use_gpu`` 매개 변수를 켭니다. 출력은 왜곡 된 패치의 예상 품질 점수입니다.

 python GraphicsLpips_2imgs.py -p0 imgs/ex_ref.png -p1 imgs/ex_p0.png --use_gpu

3D 모델의 품질

왜곡 된 3D 그래픽 세트의 품질을 계산하기위한 스크립트의 예. 3D 모델의 스냅 샷은 패치됩니다 (작은 패치로 나뉩니다). 각 모델에 대해 얻은 패치 수는 CSV 파일에 저장됩니다. 그래픽 -LPIPS는 로컬로 품질을 추정하고 (예 : 패치 당) 모델의 글로벌 품질 점수는 로컬 패치 품질의 평균으로 계산됩니다.

 python GraphicsLpips_csvFile.py -m './checkpoints/GraphicsLPIPS_FinalNetwork/latest_net_.pth' --use_gpu

(2) 데이터 세트

그래픽 LPIP는 3000 개의 텍스처 메시의 도전적인 데이터 세트에서 교육 및 테스트되었습니다. 데이터 세트는 기하학, 텍스처 매핑 및 메시의 텍스처 이미지에 적용되는 5 가지 유형의 압축 기반 왜곡의 조합으로 손상된 55 개의 소스 모델로부터 생성되었습니다. 자극은 DSIS 방법에 기초하여 크라우드 소싱의 대규모 주관 실험에서 주석을 달았다. 따라서, 각 자극은 주관적 품질 점수와 관련하여 평균 의견 점수 (MOS)와 관련이있다.

데이터 세트를 다운로드하십시오 (3D 모델 및 왜곡 된 버전, 주요 관점에서 가져온 자극의 스냅 샷, 주관적 점수)

데이터 세트를 사용하여 메트릭을 교육하고 테스트합니다

그래픽 LPIPS는 3D 그래픽 및 품질 평가 작업을 위해 설계되었습니다. 자극의 전반적인 품질을 예측하기 위해, 우리는 원래 LPIPS 메트릭을 다음과 같이 수정하여 다음과 같이 수정했습니다. )는 이미지 당 (패치면 대신) 당 완료됩니다.

우리는 고정 된 가중치로 미리 훈련 된 Alexnet 네트워크를 사용했으며 선형 레이어의 무게를 상단에 배웠습니다. 우리는 모델을 훈련시키기 위해 MOS 점수를 연관시키는 주요 관점에서 가져온 3D 모델의 이미지를 고려했습니다. 이미지는 크기 64x64의 패치로 나뉩니다.
메트릭을 훈련하고 테스트하는 예는 Scripts train.py 및 ./scripts/train_metric.txt 참조하십시오. 이 스크립트는 --nepoch + --nepoch_decay epochs를 위해 훈련 세트에서 무작위로 샘플링 된 자극 이미지 패치에 대한 모델을 훈련시킵니다.
동일한 이미지의 패치에 대해 계산 된 거리가 손실 계산을 위해 결합되므로 동일한 이미지의 패치는 다른 배치에 분산 될 수 없습니다. 따라서, 각 배치는 --nInputImg 이미지를 포함하도록 만들어졌으며, 각각은 --npatches 무작위로 샘플링 된 패치로 나타납니다. 이로 인해 --nInputImg x --npatches 패치의 배치 크기가 발생합니다. 역전 오류는 배치의 이미지에 대한 평균 손실입니다.

훈련하는 동안 패치는 모든 시대를 무작위로 샘플링하여 가능한 많은 다른 이미지 패치가 훈련에 사용되도록합니다. 데이터 세트의 자극의 80%가 훈련에는 20%, 테스트에는 20%가 사용됩니다. 주관적 점수는 [0,1] -0 : 불가능한 왜곡 (최고 품질), 1 : 매우 성가신 왜곡 (가장 낮은 품질) 사이에서 스케일링되었습니다.

교육은 checkpoints 디렉토리에 서브 디렉토리를 추가합니다.

패치 된 데이터 세트를 다운로드하고 (메트릭을 훈련하고 테스트하는 데 사용됨) 디렉토리로 압축을 풀고 ./dataset

감사의 말

이 작업은 ANR-Pisco Project (ANR-17-CE33-0005)의 일환으로 프랑스 국립 연구 기관에서 지원했습니다.

참조

Yana Nehmé, Johanna Delanoy, Florent Dupont, Jean-Philippe Farrugia, Patrick Le Callet, Guillaume Lavoué, 질감 메쉬 품질 평가 : 대규모 데이터 세트 및 딥 러닝 기반 품질 메트릭, 그래픽에 대한 ACM 트랜잭션, SIGGRAPH 2023에서 제시됩니다.