Graphics LPIPSダウンロードGraphics LPIPSソースコードのダウンロード

Graphics LPIPS

その他のソースコード

1.0.0

ダウンロード

グラフィックリップ

Graphics-LPIPSメトリックは、3Dグラフィックスと品質評価タスクに適合した画像と知覚的類似性タスク用に設計された元々設計されたLPIPSメトリックの拡張です。 Graphics-LPIPSは、3Dモデルのレンダリングされた画像の参照および歪んだパッチが供給された、上部に直線的な重みを学習するCNNSを採用しています。 3Dモデルの全体的な品質は、ローカルパッチの品質を平均することで導き出されます

このプロジェクトは、私たちの論文の実装です。テクスチャメッシュ品質評価：大規模なデータセットとディープラーニングベースの品質メトリック。 YanaNehmé、Johanna Delanoy、Florent Dupont、Jean-Philippe Farrugia、Patrick Le Callet、GuillaumeLavoué

（0）依存関係/セットアップ

インストール

Pytorch 1.0+およびTorchvision FOM http://pytorch.orgをインストールします

pip install -r requirements.txt

このレポをクローンします：

git clone https://github.com/YanaNEHME/Graphics-LPIPS
cd Graphics-LPIPS

（1）メトリックについて

Graphics-LPIPSは、[0,1]の間の範囲の品質スコアを予測します。グラフィックスルピップ値が高いほど、パッチはより異なります。

パッチの品質

参照パッチ（P0）と歪んだパッチ（P1）の間の距離を計算するスクリプトの例。通常は./checkpointsディレクトリにあるネットワークのパス（ -mまたは--modelpath ）を使用することができます。 GPUを使用するには、 `-use_gpu``パラメーターをオンにします。出力は、歪んだパッチの予測品質スコアです。

 python GraphicsLpips_2imgs.py -p0 imgs/ex_ref.png -p1 imgs/ex_p0.png --use_gpu

3Dモデルの品質

歪んだ3Dグラフィックスのセットの品質を計算するスクリプトの例。 3Dモデルのスナップショットはパッチ化されています（小さなパッチに分割されます）。各モデルに対して取得されたパッチの数は、CSVファイルに保存されます。 Graphics-LPIPSは、局所的に品質（パッチごとに）を推定し、モデルのグローバルな品質スコアがローカルパッチの品質の平均として計算されます。

 python GraphicsLpips_csvFile.py -m './checkpoints/GraphicsLPIPS_FinalNetwork/latest_net_.pth' --use_gpu

（2）データセット

Graphics-LPIPSは、3000のテクスチャーメッシュの挑戦的なデータセットでトレーニングおよびテストされました。データセットは、メッシュのジオメトリ、テクスチャマッピング、テクスチャ画像に適用される5種類の圧縮ベースの歪みの組み合わせによって破損した55のソースモデルから生成されました。刺激は、DSIS法に基づいて、クラウドソーシングの大規模な主観的実験で注釈を付けられました。したがって、各刺激は、主観的な品質スコア、つまり平均意見スコア（MOS）に関連付けられています。

データセット（3Dモデルとその歪んだバージョン、主な視点から取られた刺激のスナップショット、主観的なスコア）をダウンロードしてください）

データセットを使用して、メトリックをトレーニングおよびテストします

Graphics-LPIPSは、3Dグラフィックスと品質評価タスク用に設計されています。刺激の全体的な品質を予測するために、元のLPIPSメトリックを変更して次のように変更しました。）画像ごとに（パッチごとではなく）実行されます。

私たちは、固定された重みで事前に訓練されたAlexNetネットワークを採用し、上部に線形層の重みを学びました。モデルをトレーニングするために、MOSスコアを関連付けた主な視点から取得した3Dモデルの画像を検討しました。画像は、サイズ64x64のパッチに分割されました。
メトリックのトレーニングとテストの例については、Scripts train.py ./scripts/train_metric.txt参照してください。スクリプトは、トレーニングセットからの刺激画像のランダムにサンプリングされたパッチのモデルを、 --nepoch + --nepoch_decayエポックのためにトレーニングします。
同じ画像のパッチに対して計算された距離が損失計算のために組み合わされているため、同じ画像のパッチを異なるバッチに分布させることはできません。したがって、各バッチは、 --nInputImg画像を--npatchesように作成されました。これにより、 --nInputImg x --npatchesパッチのバッチサイズになります。バックプロパゲートされたエラーは、バッチ内の画像上の平均損失です。

トレーニング中、パッチはすべてのエポックをランダムにサンプリングして、トレーニングにできるだけ多くの異なる画像パッチが使用されるようにします。データセット内の刺激の80％は、トレーニングに、20％がテストに使用されます。主観的なスコアは、[0,1] -0：気持ちの取れない歪み（最高品質）、1：非常に迷惑な歪み（最低品質）の間で拡大されました。

トレーニングは、 checkpointsディレクトリにサブディレクトリを追加します。

データセットパッチファイデイド（メトリックのトレーニングとテストに使用）をダウンロードし、それをディレクトリに解凍します./dataset

謝辞

この作業は、ANR-Piscoプロジェクト（ANR-17-CE33-0005）の一環として、フランス国立研究機関によってサポートされていました。

参照

YanaNehmé、Johanna Delanoy、Florent Dupont、Jean-Philippe Farrugia、Patrick Le Callet、GuillaumeLavoué、テクスチャのメッシュ品質評価：Siggraph 2023で提示されるグラフィックスの大規模な学習ベースの品質メトリック、グラフィックスのACMトランザクション。