Graphics LPIPS下载Graphics LPIPS源代码下载

Graphics LPIPS

其他源码

1.0.0

下载

Graphics-lpips

Graphics-LPIPS度量是最初设计用于图像和知觉相似性任务的LPIP度量的扩展，我们适应了3D图形和质量评估任务。 Graphics-lpips在顶部采用了学习线性权重的CNN，并用参考和扭曲的3D模型渲染图像贴片喂养。 3D模型的整体质量是通过平均本地补丁质量得出的

该项目是我们论文的实施：纹理网格质量评估：大规模数据集和深度学习的质量指标。 YanaNehmé，Johanna Delanoy，Florent Dupont，Jean-Philippe Farrugia，Patrick Le Callet，GuillaumeLavoué

（0）依赖关系/设置

安装

安装Pytorch 1.0+和Torchvision fom http://pytorch.org

pip install -r requirements.txt

克隆这个仓库：

git clone https://github.com/YanaNEHME/Graphics-LPIPS
cd Graphics-LPIPS

（1）关于度量的

Graphics-LPIP可以预测[0,1]之间的质量得分。图形-LPIPS值越高，补丁越不同。

补丁的质量

脚本的示例，以计算参考补丁（P0）和扭曲的补丁（P1）之间的距离。您可以在参数（ -m或--modelpath ）中传递网络使用的路径，通常位于./checkpoints目录中。要使用GPU，请打开`-use_gpu'gar'参数。输出是扭曲贴片的预测质量评分。

 python GraphicsLpips_2imgs.py -p0 imgs/ex_ref.png -p1 imgs/ex_p0.png --use_gpu

3D型号的质量

脚本的示例来计算一组扭曲的3D图形的质量。 3D型号的快照被修补（分为小斑块）。每个模型获得的补丁数量存储在CSV文件中。 Graphics-LPIP估计了本地质量（即每个补丁），然后将模型的全球质量得分计算为本地贴片质量的平均值。

 python GraphicsLpips_csvFile.py -m './checkpoints/GraphicsLPIPS_FinalNetwork/latest_net_.pth' --use_gpu

（2）数据集

Graphics-LPIP经过了3000个纹理网格的具有挑战性的数据集训练和测试。该数据集是由55个源模型生成的，这些模型通过在网格的几何形状，纹理映射和纹理图像上应用的5种类型的基于压缩的扭曲的组合损坏。基于DSIS方法，在众包中的大规模主观实验中对刺激进行了注释。因此，每个刺激都与主观质量得分又称均值分数（MOS）相关。

下载数据集（3D型号及其扭曲版本，从其主要角度拍摄的刺激的快照，主观分数）

使用数据集训练和测试度量标准

Graphics-LPIP专为3D图形和质量评估任务而设计。为了预测刺激的总体质量，我们修改了原始LPIPS度量，以：（1）小型网络（G），在顶部进行训练，适合MOS得分而不是偏好得分，以及（2）优化（损失计算）由图像完成（而不是贴片）。

我们采用了具有固定权重的预训练的Alexnet网络，并在顶部学习了线性层的权重。为了训练我们的模型，我们考虑了从与MOS分数相关的主要观点拍摄的3D模型的图像。图像分为64x64的斑块。
有关培训和测试指标的示例，请参见脚本train.py and ./scripts/train_metric.txt 。这些脚本将在训练集的随机采样刺激图像的贴片上训练模型，用于--nepoch + --nepoch_decay时期。
由于将相同图像贴片计算的距离合并以进行损耗计算，因此不能在不同的批处理上分布同一图像的贴片。因此，使每个批次包含--nInputImg图像，每个图像由--npatches随机采样贴片表示。这导致批量大小为--nInputImg x --npatches补丁。反向传播错误是批处理中图像的平均损失。

在训练过程中，将斑块随机采样每个时期，以确保在训练中使用尽可能多的图像贴片。数据集中的80％的刺激用于训练，为20％进行测试。主观分数在[0,1] -0之间缩放：不察觉到的失真（最高质量），1：非常烦人的失真（质量最低）。

培训将在checkpoints目录中添加子目录。

下载Patchified的数据集（用于训练和测试度量），然后将其拉开为目录./dataset

致谢

这项工作得到了法国国家研究局的支持，作为ANR-PISCO项目（ANR-17-CE33-0005）的一部分。

参考

YanaNehmé，Johanna Delanoy，Florent Dupont，Jean-Philippe Farrugia，Patrick Le Callet，GuillaumeLavoué，纹理网状质量评估：大规模数据集和深度学习的质量质量度量，ACM图形上的ACM交易，以及Siggraph 2023。