Graphics LPIPS
1.0.0
يعد مقياس Graphics-LPIPS امتدادًا لمقياس LPIPs المصمم أصلاً للصور ومهام التشابه الإدراكية ، والتي قمنا بتكييفها لمهام الرسومات ثلاثية الأبعاد ومهام تقييم الجودة. توظف Graphics-LPIPS CNNs مع تعلم أوزان خطية في الأعلى ، وتغذية مع مرجع وبقع مشوهة من الصور المقدمة من النماذج ثلاثية الأبعاد. يتم اشتقاق الجودة الشاملة للنموذج ثلاثي الأبعاد من خلال حساب متوسط صفات التصحيح المحلية
هذا المشروع هو تنفيذ ورقيتنا: تقييم جودة شبكة محكم: مجموعة بيانات واسعة النطاق وقياس الجودة القائم على التعلم العميق. يانا نيهمي ، جوهانا ديلانوي ، فلورنت دوبونت ، جان فيليب فاروجيا ، باتريك لو كاليت ، غيوم لافوي
pip install -r requirements.txtgit clone https://github.com/YanaNEHME/Graphics-LPIPS
cd Graphics-LPIPSتتنبأ الرسومات LPIPS بدرجة الجودة تتراوح بين [0،1]. كلما زادت قيم الرسومات-LPIPS ، كلما كانت التصحيحات مختلفة.
مثال على البرنامج النصي لحساب المسافة بين التصحيح المرجعي (P0) والتصحيح المشوه (P1). يمكنك تمريرها في المعلمة ( -m أو --modelpath ) مسار الشبكة للاستخدام ، وعادة ما يكون موجود في دليل ./checkpoints . لاستخدام GPU ، قم بتشغيل المعلمة `-use_gpu``. الناتج هو درجة الجودة المتوقعة للتصحيح المشوه.
python GraphicsLpips_2imgs.py -p0 imgs/ex_ref.png -p1 imgs/ex_p0.png --use_gpu
مثال على البرنامج النصي لحساب جودة مجموعة من الرسومات ثلاثية الأبعاد المشوهة. يتم تصحيح لقطات النماذج ثلاثية الأبعاد (مقسمة إلى بقع صغيرة). يتم تخزين عدد التصحيحات التي تم الحصول عليها لكل نموذج في ملف CSV. تقدر Graphics-LPIPS الجودة محليًا (أي لكل تصحيح) ، ثم يتم حساب درجة الجودة العالمية للنموذج كمتوسط صفات التصحيح المحلية.
python GraphicsLpips_csvFile.py -m './checkpoints/GraphicsLPIPS_FinalNetwork/latest_net_.pth' --use_gpu
تم تدريب الرسومات LPIPs واختبارها على مجموعة بيانات صعبة تضم 3000 شبكات محكم. تم إنشاء مجموعة البيانات من 55 نماذج مصدر تالفة من خلال مجموعات من 5 أنواع من التشوهات القائمة على الضغط المطبقة على الهندسة ورسم خرائط الملمس وصورة نسيج الشبكات. تم شرح المحفزات في تجربة ذاتية واسعة النطاق في التعهيد الجماعي ، بناءً على طريقة DSIS. وبالتالي ، يرتبط كل حافز بدرجة الجودة الذاتية الملقب درجة الرأي (MOS).
قم بتنزيل مجموعة البيانات (النماذج ثلاثية الأبعاد والإصدارات المشوهة ، لقطات من المحفزات المأخوذة من وجهة نظرها الرئيسية ، الدرجات الذاتية)
تم تصميم Graphics-LPIPS لمهام الرسومات ثلاثية الأبعاد ومهام تقييم الجودة. للتنبؤ بالجودة الشاملة للحافز ، قمنا بتعديل مقياس LPIPs الأصلي بحيث: (1) الشبكة الصغيرة (G) ، المدربين على الأعلى ، يناسب درجات MOS بدلاً من درجات التفضيل ، و (2) التحسين (حساب الخسارة (حساب الخسارة ) يتم لكل صورة (بدلاً من التصحيح).
لقد استخدمنا شبكة Alexnet التي تم تدريبها مسبقًا بأوزانها الثابتة وتعلمنا أوزان الطبقة الخطية في الأعلى. لتدريب نموذجنا ، فكرنا في صور للنماذج ثلاثية الأبعاد مأخوذة من وجهة نظرها الرئيسية التي ارتبطنا بها درجات MOS. تم تقسيم الصور إلى بقع بحجم 64 × 64.
انظر البرامج النصية train.py و ./scripts/train_metric.txt للحصول على مثال على التدريب واختبار المقياس. ستقوم البرامج النصية بتدريب نموذج على بقع تم أخذ عينات منها بشكل عشوائي من صور التحفيز من مجموعة التدريب ، من أجل --nepoch + --nepoch_decay .
نظرًا لأن المسافات المحسوبة للبقع من نفس الصورة يتم دمجها لحساب الخسارة ، لا يمكن توزيع تصحيحات نفس الصورة على دفعات مختلفة. وبالتالي ، تم صنع كل دفعة لاحتواء --nInputImg ، كل منها ممثلة بواسطة --npatches بقع عشوائية العينات. ينتج عن هذا حجم دفعة من بقع --nInputImg x --npatches . الخطأ الخلفي هو متوسط الخسارة على الصور في دفعة.
أثناء التدريب ، يتم أخذ عينات من البقع بشكل عشوائي كل فترة لضمان استخدام أكبر عدد ممكن من تصحيحات الصور المختلفة في التدريب. يتم استخدام 80 ٪ من المحفزات في مجموعة البيانات للتدريب و 20 ٪ للاختبار. تم تحجيم الدرجات الذاتية بين [0،1] - 0: تشويه غير محسوس (أعلى جودة) ، 1: تشويه مزعج للغاية (أدنى جودة).
سيؤدي التدريب إلى إضافة دليل فرعي في دليل checkpoints .
قم بتنزيل مجموعة البيانات (المستخدمة لتدريب المقياس واختباره) ، وفك ضغطه في الدليل ./dataset
تم دعم هذا العمل من قبل وكالة الأبحاث الوطنية الفرنسية كجزء من مشروع ANR-Pisco (ANR-17-CE33-0005).
يانا نيهمي ، جوهانا ديلانوي ، فلورنت دوبونت ، جان فيليب فاروجيا ، باتريك لو كاليت ، غيوم لافوي ، تقييم جودة شبكة محكم: مجموعة بيانات واسعة النطاق ومقياس جودة عميق على التعلم ، معاملات ACM على الرسومات ، ليتم تقديمها في Siggraph 2023.
مقياس الرسومات-LPIPS هو حقوق الطبع والنشر لجامعة ليون ، 2022. يتم توزيعه تحت رخصة موزيلا العامة ضد 2.0. (ارجع إلى LICENSE-MPL2.txt أو نسخة على http://mozilla.org/mpl/2.0/)
