Time Travel Rephotography.github.io
1.0.0
Banyak orang bersejarah yang hanya pernah ditangkap oleh foto -foto lama, pudar, hitam dan putih, yang terdistorsi karena keterbatasan kamera awal dan berlalunya waktu. Makalah ini mensimulasikan perjalanan ke masa lalu dengan kamera modern untuk merephotografik subjek terkenal. Tidak seperti filter restorasi gambar konvensional yang menerapkan operasi independen seperti denoising, pewarnaan, dan superresolusi, kami memanfaatkan kerangka kerja StyleGan2 untuk memproyeksikan foto lama ke dalam ruang foto resolusi tinggi modern, mencapai semua efek ini dalam kerangka kerja terpadu. Tantangan unik dengan pendekatan ini adalah mempertahankan identitas dan pose subjek dalam foto asli, sambil membuang banyak artefak yang sering terlihat pada foto antik berkualitas rendah. Perbandingan kami dengan filter restorasi canggih saat ini menunjukkan peningkatan yang signifikan dan hasil yang menarik untuk berbagai orang historis yang penting.
Rephotografi perjalanan waktu
Xuan Luo, Xuaner Zhang, Paul Yoo, Ricardo Martin-Brucalla, Jason Lawrence, dan Steven M. Seitz
Di Siggraph Asia 2021.
Kami memberikan demo yang mudah digerakkan menggunakan Google Colab! Colab akan memungkinkan Anda untuk mencoba metode kami pada sampel foto Abraham Lincoln atau foto Anda sendiri menggunakan Cloud GPU di Google Colab.
Atau Anda dapat menjalankan metode kami di mesin Anda sendiri mengikuti instruksi di bawah ini.
Tarik paket pihak ketiga.
git submodule update --init --recursive
Pasang paket Python.
conda create --name rephotography python=3.8.5 conda activate rephotography conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.1 -c pytorch pip install -r requirements.txt
Jalankan metode kami pada contoh foto Abraham Lincoln.
Unduh model:
./scripts/download_checkpoints.sh
Berlari:
./scripts/run.sh b "dataset/Abraham Lincoln_01.png" 0.75
Anda dapat memeriksa proses optimasi dengan
tensorboard --logdir "log/Abraham Lincoln_01"
Anda dapat menemukan hasil Anda seperti di bawah ini.
results/ Abraham Lincoln_01/ # intermediate outputs for histogram matching and face parsing Abraham Lincoln_01_b.png # the input after matching the histogram of the sibling image Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750)-init.png # the sibling image Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750)-init.pt # the sibing latent codes and initialized noise maps Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750).png # the output result Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750).pt # the final optimized latent codes and noise maps Abraham Lincoln_01-b-G0.75-init(10,18)-s256-vgg1-vggface0.3-eye0.1-color1.0e+10-cx0.1(relu3_4,relu2_2,relu1_2)-NR5.0e+04-lr0.1_0.01-c32-wp(250,750)-rand.png # the result with the final latent codes but random noise maps
Pangkas dan selaraskan daerah kepala gambar Anda:
python -m tools.data.align_images <input_raw_image_dir> <aligned_image_dir>
Berlari:
./scripts/run.sh <spectral_sensitivity> <input_image_path> <blur_radius>
spectral_sensitivity dapat menjadi b (peka biru), gb (ortokromatik), atau g (panchromatic). Anda dapat memperkirakan spectral_sensitivity foto Anda secara kasar sebagai berikut. Gunakan model yang sensitif biru untuk foto sebelum tahun 1873, pilih secara manual antara peka biru dan ortokromatik untuk gambar dari tahun 1873 hingga 1906 dan di antara semua model untuk foto yang diambil sesudahnya.
blur_radius adalah perkiraan jari -jari Blur Gaussian dalam piksel jika fotot input diubah ukurannya menjadi 1024x1024.
| Jalur | Ukuran | Keterangan |
|---|---|---|
| Historis Wiki Face Dataset.zip | 148 MB | Gambar |
| spectral_sensitivity.json | 6 kb | Sensitivitas spektral ( b , gb , atau g ). |
| blur_radius.json | 6 kb | Radius blur dalam piksel |
json S adalah kamus yang memetakan nama input ke sensitivitas spektral yang sesuai atau jari -jari blur. Karena kendala hak cipta, Historical Wiki Face Dataset.zip berisi semua gambar dalam dataset wajah wiki historis yang digunakan dalam studi pengguna kami kecuali foto Mao Zedong. Anda dapat mengunduhnya secara terpisah dan memotongnya seperti di atas.
Jika Anda menemukan kode kami berguna, silakan pertimbangkan mengutip makalah kami:
@article{Luo-Rephotography-2021,
author = {Luo, Xuan and Zhang, Xuaner and Yoo, Paul and Martin-Brualla, Ricardo and Lawrence, Jason and Seitz, Steven M.},
title = {Time-Travel Rephotography},
journal = {ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH Asia 2021)},
publisher = {ACM New York, NY, USA},
volume = {40},
number = {6},
articleno = {213},
doi = {https://doi.org/10.1145/3478513.3480485},
year = {2021},
month = {12}
}Pekerjaan ini dilisensikan di bawah lisensi MIT. Lihat lisensi untuk detailnya.
Kode untuk model StyleGan2 berasal dari https://github.com/rosinality/stylegan2-pytorch.
Kami berterima kasih kepada Nick Brandreth karena telah mengambil foto pelat kering. Kami berterima kasih kepada Bo Zhang, Fan Qingnan, Roy Or-El, Aleksander Holynski dan Taman Keunhong untuk nasihat yang mendalam. Kami berterima kasih kepada Xiaojie Feng atas kontribusinya pada demo Colab.
