الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

[SIGGRAPH ASIA 2021] تخفيف إعادة الترجمة الزمنية

[موقع المشروع]

لم يتم التقاط العديد من الأشخاص التاريخيين إلا من خلال صور قديمة ، باهتة ، بالأبيض والأسود ، والتي يتم تشويهها بسبب قيود الكاميرات المبكرة ومرور الوقت. تحاكي هذه الورقة السفر مرة أخرى في الوقت المناسب مع كاميرا حديثة لإعادة تخطيط الموضوعات الشهيرة. على عكس مرشحات ترميم الصور التقليدية التي تطبق عمليات مستقلة مثل تقليل اللون ، واللون ، و SuperResolution ، فإننا نستفيد من إطار stylegan2 لإظهار الصور القديمة في مساحة الصور عالية الدقة الحديثة ، وتحقيق كل هذه الآثار في إطار موحد. يتمثل أحد التحديات الفريدة في هذا النهج في الحفاظ على هوية الموضوع في الصورة الأصلية ، مع التخلص من العديد من القطع الأثرية التي يتم رؤيتها بشكل متكرر في الصور العتيقة منخفضة الجودة. تُظهر مقارناتنا مع مرشحات الترميم الحديثة على أحدث حالات تحسينات كبيرة ونتائج مقنعة لمجموعة متنوعة من الأشخاص التاريخيين المهمين.

إعادة تخفيف الوقت
Xuan Luo ، Xuaner Zhang ، Paul Yoo ، Ricardo Martin-Brualla ، Jason Lawrence ، and Steven M. Seitz
في SIGGRAPH ASIA 2021.

العرض التوضيحي

نحن نقدم عرضًا تجريبيًا سهل البدء باستخدام Google Colab! سيسمح لك Colab بتجربة طريقتنا على عينة Abraham Lincoln Photo أو صورك الخاصة باستخدام GPU Cloud على Google Colab.

أو يمكنك تشغيل طريقتنا على جهازك الخاص باتباع الإرشادات أدناه.

المتطلب السابق

  • سحب حزم الطرف الثالث. 

    git submodule update --init --recursive

  • تثبيت حزم بيثون. 

    conda create --name rephotography python=3.8.5
conda activate rephotography
conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.1 -c pytorch
pip install -r requirements.txt

بداية سريعة

تشغيل طريقتنا على مثال صورة أبراهام لنكولن.

  • نماذج التنزيل: 

    ./scripts/download_checkpoints.sh

  • يجري: 

    ./scripts/run.sh b "dataset/Abraham Lincoln_01.png" 0.75

  • يمكنك فحص عملية التحسين بواسطة 

    tensorboard --logdir "log/Abraham Lincoln_01"

  • يمكنك العثور على نتائجك على النحو التالي. 

    results/
  Abraham Lincoln_01/       # intermediate outputs for histogram matching and face parsing
  Abraham Lincoln_01_b.png  # the input after matching the histogram of the sibling image
  Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750)-init.png        # the sibling image
  Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750)-init.pt         # the sibing latent codes and initialized noise maps
  Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750).png             # the output result
  Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750).pt              # the final optimized latent codes and noise maps
  Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750)-rand.png        # the result with the final latent codes but random noise maps

تشغيل على صورتك الخاصة

  • المحاصيل وتوافق من مناطق الرأس من صورك: 

    python -m tools.data.align_images <input_raw_image_dir> <aligned_image_dir>

  • يجري: 

    ./scripts/run.sh <spectral_sensitivity> <input_image_path> <blur_radius>

    يمكن أن تكون الحساسية spectral_sensitivity b (حساسة للأزرق) ، gb (العكسية) ، أو g (panchromatic). يمكنك تقريبًا تقدير spectral_sensitivity من صورتك على النحو التالي. استخدم النموذج الحساس الأزرق للصور قبل عام 1873 ، واختر يدويًا بين الأزرق الحساس والمنسوجية للصور من 1873 إلى 1906 وبين جميع الطرز للصور التي تم التقاطها بعد ذلك.

    blur_radius هو دائرة نصف قطر Gaussian Plur المقدرة بالبكسل إذا تم تغيير حجم فوتوت الإدخال إلى 1024 × 1024.

مجموعة بيانات الوجه التاريخي Wiki

طريق مقاس وصف
مجموعة بيانات الويكي التاريخي 148 ميغابايت الصور
Spectral_Sensitivity.json 6 كيلو بايت الحساسية الطيفية ( b ، gb ، أو g ).
blur_radius.json 6 كيلو بايت قطر بلور في بكسل

json S عبارة عن قوامات تعرض لأسماء الإدخال إلى الحساسية الطيفية المقابلة أو نصف قطرها. نظرًا لقيود حقوق الطبع والنشر ، تحتوي Historical Wiki Face Dataset.zip على جميع الصور في مجموعة بيانات الوجه التاريخية التي تم استخدامها في دراسة المستخدم لدينا باستثناء صورة Mao Zedong. يمكنك تنزيله بشكل منفصل واختصاره على النحو الوارد أعلاه.

اقتباس

إذا وجدت رمزنا مفيدًا ، فيرجى التفكير في ذكر ورقتنا: 

@article{Luo-Rephotography-2021,
  author    = {Luo, Xuan and Zhang, Xuaner and Yoo, Paul and Martin-Brualla, Ricardo and Lawrence, Jason and Seitz, Steven M.},
  title     = {Time-Travel Rephotography},
  journal = {ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH Asia 2021)},
  publisher = {ACM New York, NY, USA},
  volume = {40},
  number = {6},
  articleno = {213},
  doi = {https://doi.org/10.1145/3478513.3480485},
  year = {2021},
  month = {12}
}

رخصة

هذا العمل مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. انظر الترخيص للحصول على التفاصيل.

تأتي الرموز الخاصة بنموذج Stylegan2 من https://github.com/rosinality/stylegan2-pytorch.

شكر وتقدير

نشكر نيك براندريث على التقاط صور اللوحة الجافة. نشكر Bo Zhang و Qingnan Fan و Roy Or-El و Aleksander Holynski و Keunhong Park على المشورة الثاقبة. نشكر Xiaojie Feng على مساهماته على Colab Demo.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل