neural enhance

Kode sumber lainnya

1.0.0

Unduh

Peningkatan Saraf

dokumen/OldStation_example.gif

Contoh #1 — Stasiun Lama: lihat perbandingan dalam HD 24-bit, foto asli CC-BY-SA @siv-athens.

Seperti yang terlihat di TV! Bagaimana jika Anda dapat meningkatkan resolusi foto Anda menggunakan teknologi dari laboratorium CSI? Berkat pembelajaran mendalam dan #NeuralEnhance , jaringan saraf kini dapat dilatih untuk memperbesar gambar Anda sebanyak 2x atau bahkan 4x. Anda akan mendapatkan hasil yang lebih baik lagi dengan meningkatkan jumlah neuron atau pelatihan dengan kumpulan data yang mirip dengan gambar resolusi rendah Anda.

Tangkapannya? Jaringan saraf berhalusinasi detail berdasarkan pelatihannya dari contoh gambar. Itu tidak merekonstruksi foto Anda persis seperti jika itu HD. Hal ini hanya mungkin dilakukan di Hollywood — tetapi menggunakan pembelajaran mendalam sebagai "AI Kreatif" berhasil dan itu sama kerennya! Inilah cara Anda dapat memulai...

Contoh & Penggunaan
Instalasi
Latar Belakang & Penelitian
Pemecahan masalah
Pertanyaan yang Sering Diajukan

1. Contoh & Penggunaan

Skrip utama disebut enhance.py , yang dapat Anda jalankan dengan Python 3.4+ setelah pengaturannya seperti di bawah ini. Argumen --device yang memungkinkan Anda menentukan GPU atau CPU mana yang akan digunakan. Untuk contoh di atas, berikut hasil performanya:

Pusat Rendering GPU — Dengan asumsi Anda memiliki pengaturan CUDA dan RAM internal yang cukup agar sesuai dengan gambar dan jaringan saraf, menghasilkan output 1080p akan selesai dalam 5 detik, atau 2 detik per gambar jika beberapa gambar sekaligus.
CPU Rendering HQ — Ini akan memakan waktu sekitar 20 hingga 60 detik untuk output 1080p, namun pada sebagian besar mesin, Anda dapat menjalankan 4-8 proses secara bersamaan dengan RAM sistem yang cukup. Waktu proses bergantung pada ukuran jaringan saraf.

Standarnya adalah menggunakan --device=cpu , jika Anda sudah memiliki pengaturan kartu NVIDIA dengan CUDA, coba --device=gpu0 . Di CPU, Anda juga dapat menyetel variabel lingkungan ke OMP_NUM_THREADS=4 , yang paling berguna saat menjalankan skrip beberapa kali secara paralel.

1.a) Meningkatkan Gambar

Daftar contoh baris perintah yang dapat Anda gunakan dengan model terlatih yang disediakan dalam rilis GitHub:

 # Run the super-resolution script to repair JPEG artefacts, zoom factor 1:1.
python3 enhance.py --type=photo --model=repair --zoom=1 broken.jpg

# Process multiple good quality images with a single run, zoom factor 2:1.
python3 enhance.py --type=photo --zoom=2 file1.jpg file2.jpg

# Display output images that were given `_ne?x.png` suffix.
open * _ne ? x.png

Berikut daftar model, jenis gambar, dan tingkat zoom yang didukung saat ini dalam satu tabel.

FITUR	`--model=default`	`--model=repair`	`--model=denoise`	`--model=deblur`
`--type=photo`	2x	1x	…	…

1.b) Pelatihan Resolusi Super

Model terlatih disediakan dalam rilis GitHub. Melatih diri Anda sendiri adalah proses rumit yang mungkin mengharuskan Anda memilih parameter berdasarkan kumpulan data gambar Anda.

 # Remove the model file as don't want to reload the data to fine-tune it.
rm -f ne ? x * .pkl.bz2

# Pre-train the model using perceptual loss from paper [1] below.
python3.4 enhance.py --train " data/*.jpg " --model custom --scales=2 --epochs=50 
    --perceptual-layer=conv2_2 --smoothness-weight=1e7 --adversary-weight=0.0 
    --generator-blocks=4 --generator-filters=64

# Train the model using an adversarial setup based on [4] below.
python3.4 enhance.py --train " data/*.jpg " --model custom --scales=2 --epochs=250 
         --perceptual-layer=conv5_2 --smoothness-weight=2e4 --adversary-weight=1e3 
         --generator-start=5 --discriminator-start=0 --adversarial-start=5 
         --discriminator-size=64

# The newly trained model is output into this file...
ls ne ? x-custom- * .pkl.bz2

dokumen/BankLobby_example.gif

Contoh #2 — Lobi Bank: lihat perbandingan dalam HD 24-bit, foto asli CC-BY-SA @benarent.

2. Instalasi & Pengaturan

2.a) Menggunakan Gambar Docker [disarankan]

Cara termudah untuk memulai dan menjalankannya adalah dengan menginstal Docker. Kemudian, Anda seharusnya dapat mengunduh dan menjalankan image yang sudah dibuat sebelumnya menggunakan alat baris perintah docker . Cari tahu lebih lanjut tentang gambar alexjc/neural-enhance di halaman Docker Hub-nya.

Inilah cara paling sederhana untuk memanggil skrip menggunakan docker , dengan asumsi Anda terbiasa menggunakan argumen -v untuk memasang folder, Anda dapat menggunakan ini secara langsung untuk menentukan file yang akan ditingkatkan:

 # Download the Docker image and show the help text to make sure it works.
docker run --rm -v ` pwd ` :/ne/input -it alexjc/neural-enhance --help

Gambar Tunggal — Dalam praktiknya, kami menyarankan Anda menyiapkan alias yang disebut enhance untuk secara otomatis mengekspos folder berisi gambar yang Anda tentukan, sehingga skrip dapat membacanya dan menyimpan hasilnya di tempat Anda dapat mengaksesnya. Inilah cara Anda melakukannya di konsol terminal di OSX atau Linux:

 # Setup the alias. Put this in your .bashrc or .zshrc file so it's available at startup.
alias enhance= ' function ne() { docker run --rm -v "$(pwd)/`dirname ${@:$#}`":/ne/input -it alexjc/neural-enhance ${@:1:$#-1} "input/`basename ${@:$#}`"; }; ne '

# Now run any of the examples above using this alias, without the `.py` extension.
enhance --zoom=1 --model=repair images/broken.jpg

Banyak Gambar — Untuk menyempurnakan beberapa gambar dalam satu baris (lebih cepat) dari folder atau spesifikasi wildcard, pastikan untuk mengutip argumen ke perintah alias:

 # Process multiple images, make sure to quote the argument!
enhance --zoom=2 " images/*.jpg "

Jika Anda ingin menjalankannya pada GPU NVIDIA, Anda dapat mengubah alias untuk menggunakan gambar alexjc/neural-enhance:gpu yang sudah diinstal sebelumnya dengan CUDA dan CUDNN. Kemudian jalankan di dalam nvidia-docker dan itu akan menggunakan perangkat keras fisik Anda!

2.b) Instalasi Manual [pengembang]

Proyek ini memerlukan Python 3.4+ dan Anda juga memerlukan numpy dan scipy (perpustakaan komputasi numerik) serta python3-dev yang diinstal di seluruh sistem. Jika Anda ingin petunjuk lebih detail, ikuti ini:

Instalasi Linux Lasagna (menengah)
Instalasi Lasagna Mac OSX (lanjutan)
Instalasi Windows Lasagna (ahli)

Setelah mengambil repositori, Anda dapat menjalankan perintah berikut dari terminal Anda untuk menyiapkan lingkungan lokal:

 # Create a local environment for Python 3.x to install dependencies here.
python3 -m venv pyvenv --system-site-packages

# If you're using bash, make this the active version of Python.
source pyvenv/bin/activate

# Setup the required dependencies simply using the PIP module.
python3 -m pip install --ignore-installed -r requirements.txt

Setelah ini, Anda harus memasang pillow , theano , dan lasagne di lingkungan virtual Anda. Anda juga harus mengunduh jaringan saraf terlatih ini (VGG19, 80Mb) dan meletakkannya di folder yang sama dengan skrip untuk dijalankan. Untuk menghapus instalasi semuanya, Anda cukup menghapus folder #/pyvenv/ .

dokumen/Faces_example.png

Contoh #3 — Resolusi super khusus untuk wajah, dilatih pada contoh HD wajah selebriti saja. Kualitasnya jauh lebih tinggi ketika mempersempit domain dari "foto" secara umum.

3. Latar Belakang & Penelitian

Kode ini menggunakan kombinasi teknik dari makalah berikut, serta beberapa perbaikan kecil yang belum didokumentasikan (lihat repositori ini untuk pembaruan):

Kerugian Persepsi untuk Transfer Gaya Real-Time dan Resolusi Super
Resolusi Super Real-Time Menggunakan Konvolusi Sub-Piksel yang Efisien
Jaringan Konvolusional Sangat Rekursif untuk Resolusi Super Gambar
Resolusi Super Foto-Realistis Menggunakan Jaringan Adversarial Generatif

Terima kasih khusus atas bantuan dan dukungannya dalam berbagai hal:

Eder Santana - Diskusi, dorongan, dan idenya tentang dekonvolusi subpiksel.
Andrew Brock - Kode lapisan subpiksel ini didasarkan pada repositori proyeknya menggunakan Lasagna.
Casper Kaae Sønderby - Untuk menyarankan alternatif yang lebih stabil terhadap sigmoid + log sebagai fungsi kerugian GAN.

4. Mengatasi Masalah

Tidak dapat menginstal atau Tidak dapat menemukan pgen, tidak menyusun tata bahasa formal.

Ada kompiler ekstensi Python bernama Cython, dan kompiler tersebut hilang atau tidak dipasang dengan benar. Coba dapatkan langsung dari manajer paket sistem, bukan dari PIP.

MEMPERBAIKI: sudo apt-get install cython3

NotImplementedError: Pengoptimalan abstractConv2d theano gagal.

Ini terjadi ketika Anda menjalankan tanpa GPU, dan perpustakaan CPU tidak ditemukan (misalnya libblas ). Ekspresi jaringan saraf tidak dapat dievaluasi oleh Theano dan ini menimbulkan pengecualian.

MEMPERBAIKI: sudo apt-get install libblas-dev libopenblas-dev

TypeError: max_pool_2d() mendapat argumen kata kunci 'mode' yang tidak terduga

Anda perlu menginstal Lasagna dan Theano langsung dari versi yang ditentukan dalam requirements.txt , bukan dari versi PIP. Alternatif ini lebih lama dan tidak memiliki fitur yang diperlukan.

MEMPERBAIKI: python3 -m pip install -r requirements.txt

ValueError: lokal tidak diketahui: UTF-8

Tampaknya terminal Anda salah dikonfigurasi dan tidak kompatibel dengan cara Python memperlakukan lokal. Anda mungkin perlu mengubahnya di .bashrc atau skrip startup lainnya. Alternatifnya, perintah ini akan memperbaikinya satu kali untuk instance shell ini.

PERBAIKI: export LC_ALL=en_US.UTF-8

dokumen/StreetView_example.gif