Graphics LPIPS
1.0.0
Метрика Graphics-LPIPS является расширением метрики LPIPS, первоначально разработанной для изображений и задач сходства восприятия, которые мы адаптировали для 3D-графики и задач оценки качества. Graphics-LPIP использует CNN с обучением линейным весам сверху, питающимися справочными и искаженными пятнами рендерированных изображений 3D-моделей. Общее качество 3D -модели получено путем усреднения местных качеств патча
Этот проект представляет собой реализацию нашей статьи: текстурированная оценка качества сетки: крупномасштабный набор данных и показатель качества на основе глубокого обучения. Яна Нехме, Джоанна Деланой, Флорент Дюпон, Жан-Филипп Фарруги, Патрик Ле Каллет, Гийом Лавуо
pip install -r requirements.txtgit clone https://github.com/YanaNEHME/Graphics-LPIPS
cd Graphics-LPIPSGraphics-LPIPS прогнозирует оценку качества между [0,1]. Чем выше значения графики-lpips, тем более разные патчи.
Пример сценария для вычисления расстояния между эталонным патчем (P0) и искаженным патчем (P1). Вы можете пройти в параметрах ( -m или --modelpath ) путь к использованию сети, обычно расположенный в каталоге ./checkpoints . Чтобы использовать GPU, включите параметр `-use_gpu``. Выход - это прогнозируемый показатель качества искаженного патча.
python GraphicsLpips_2imgs.py -p0 imgs/ex_ref.png -p1 imgs/ex_p0.png --use_gpu
Пример скрипта для вычисления качества набора искаженной трехмерной графики. Снимки 3D -моделей являются петлетными (разделенными на небольшие участки). Количество патчей, полученных для каждой модели, хранится в файле CSV. Graphics-LPIPS оценивает качество локально (т.е. на патч), тогда глобальный показатель качества модели вычисляется как среднее значение локальных качеств.
python GraphicsLpips_csvFile.py -m './checkpoints/GraphicsLPIPS_FinalNetwork/latest_net_.pth' --use_gpu
Graphics-LPIPs была обучена и протестирована на сложном наборе данных из 3000 текстурированных сетей. Набор данных был сгенерирован из 55 исходных моделей, поврежденных комбинациями 5 типов искажений на основе сжатия, применяемых к геометрии, отображению текстур и изображению текстур сетей. Стимулы были аннотированы в крупномасштабном субъективном эксперименте в краудсорсинге на основе метода DSIS. Таким образом, каждый стимул связан с субъективным показателем качества, который средний балл мнения (MOS).
Загрузите набор данных (3D -модели и их искаженные версии, снимки стимулов, взятых с их основной точки зрения, субъективных результатов)
Graphics-LPIPS предназначена для 3D-графики и задач оценки качества. Чтобы предсказать общее качество стимула, мы изменили исходную метрику LPIPS, чтобы: (1) небольшая сеть (G), обученная сверху, подходит для баллов MOS вместо показателей предпочтений и (2) оптимизация (вычисление потерь ) выполняется на изображение (вместо патча).
Мы использовали предварительно обученную сеть Alexnet с ее фиксированными весами и выучили веса линейного слоя сверху. Чтобы обучить нашу модель, мы рассмотрели изображения трехмерных моделей, взятых с их основной точки зрения, с которой мы связывали оценки MOS. Изображения были разделены на участки размера 64x64.
См. Scripts train.py и ./scripts/train_metric.txt для примера обучения и тестирования метрики. Сценарии будут обучать модель на случайно отобранных пятнах изображений стимула из учебного набора, для эпох --nepoch + --nepoch_decay .
Поскольку расстояния, рассчитанные для пятен одного и того же изображения, объединяются для расчета потерь, пятна одного и того же изображения не могут быть распределены по разным партиям. Таким образом, каждая партия была изготовлена для содержания -изображения --nInputImg , каждая из которых представлена --npatches случайно отобранные отбранные патчи. Это приводит к пакетированию размера пакетов --nInputImg x --npatches . Ошибка обработки - это средняя потеря по сравнению с изображениями в партии.
Во время тренировки патчи случайным образом отображаются каждую эпоху, чтобы обеспечить как можно больше различных пятен изображений при обучении. 80% стимулов в наборе данных используются для обучения и 20% для тестирования. Субъективные оценки были масштабированы между [0,1] - 0: незаметное искажение (самое высокое качество), 1: очень раздражающее искажение (самое низкое качество).
Обучение добавит подкаталог в каталоге checkpoints .
Загрузите Patchied DataSet (используется для обучения и тестирования метрики), и расстегнуть его в каталог ./dataset
Эта работа была поддержана Французским национальным исследовательским агентством в рамках проекта ANR-Pisco (ANR-17-CE33-0005).
Яна Нехме, Йоханна Деланой, Флорент Дюпон, Жан-Филипп Фарруги, Патрик Ле Каллет, Гийом Лавуо, Текстурированная оценка качества сетки: крупномасштабный набор данных и показатель качества на основе глубокого обучения, транзакции ACM на графике, чтобы быть представленным на Siggraph 2023.
Метрика Graphics-LPIPS является авторским правом Университета Лиона, 2022 год. Он распространяется по общественной лицензии Mozilla v. 2.0. (См. Accompaning File LICENSE-MPL2.txt или копию по адресу http://mozilla.org/mpl/2.0/)
