ニューラルエンハンス

docs/OldStation_example.gif

例 #1 — 古いステーション: 24 ビット HD で比較を表示、元の写真 CC-BY-SA @siv-athens。

テレビで見た通り！ CSI 研究所のテクノロジーを使用して写真の解像度を上げることができたらどうでしょうか?ディープラーニングと#NeuralEnhanceのおかげで、画像を 2 倍、さらには 4 倍にズームインするようにニューラルネットワークをトレーニングできるようになりました。ニューロンの数を増やすか、低解像度画像に似たデータセットを使用してトレーニングすると、さらに良い結果が得られます。

獲物は？ニューラルネットワークは、サンプル画像からのトレーニングに基づいて詳細を幻覚します。 HD の場合とまったく同じように写真を再構築するわけではありません。それはハリウッドでのみ可能です。しかし、ディープラーニングを「クリエイティブ AI」として使用することは機能し、同様にクールです。始める方法は次のとおりです...

例と使用法
インストール
背景と研究
トラブルシューティング
よくある質問

1. 例と使用法

メインスクリプトは、 enhance.pyと呼ばれ、以下のようにセットアップすると、Python 3.4 以降で実行できます。 --device引数を使用すると、使用する GPU または CPU を指定できます。上記のサンプルのパフォーマンス結果は次のとおりです。

GPU レンダリング HQ — CUDA セットアップがあり、画像とニューラルネットワークに適合するのに十分なオンボード RAM があると仮定すると、1080p 出力の生成は 5 秒で完了します。同時に複数の場合は画像ごとに 2 秒で完了します。
CPU レンダリング HQ — 1080p 出力には約 20 ～ 60 秒かかりますが、十分なシステム RAM があれば、ほとんどのマシンで 4 ～ 8 つのプロセスを同時に実行できます。実行時間はニューラルネットワークのサイズによって異なります。

デフォルトでは--device=cpu使用します。すでに CUDA を使用して NVIDIA カードをセットアップしている場合は、 --device=gpu0試してください。 CPU では、環境変数をOMP_NUM_THREADS=4に設定することもできます。これは、スクリプトを複数回並行して実行する場合に最も便利です。

1.a) 画像の補正

GitHub リリースで提供される事前トレーニングされたモデルで使用できるコマンドラインの例のリスト:

 # Run the super-resolution script to repair JPEG artefacts, zoom factor 1:1.
python3 enhance.py --type=photo --model=repair --zoom=1 broken.jpg

# Process multiple good quality images with a single run, zoom factor 2:1.
python3 enhance.py --type=photo --zoom=2 file1.jpg file2.jpg

# Display output images that were given `_ne?x.png` suffix.
open * _ne ? x.png

以下は、現在サポートされているモデル、画像タイプ、ズームレベルのリストを 1 つの表にまとめたものです。

特徴	`--model=default`	`--model=repair`	`--model=denoise`	`--model=deblur`
`--type=photo`	2倍	1x	…	…

1.b) 超解像度のトレーニング

事前トレーニングされたモデルは GitHub リリースで提供されます。独自のトレーニングは繊細なプロセスであり、画像データセットに基づいてパラメータを選択する必要がある場合があります。

 # Remove the model file as don't want to reload the data to fine-tune it.
rm -f ne ? x * .pkl.bz2

# Pre-train the model using perceptual loss from paper [1] below.
python3.4 enhance.py --train " data/*.jpg " --model custom --scales=2 --epochs=50 
    --perceptual-layer=conv2_2 --smoothness-weight=1e7 --adversary-weight=0.0 
    --generator-blocks=4 --generator-filters=64

# Train the model using an adversarial setup based on [4] below.
python3.4 enhance.py --train " data/*.jpg " --model custom --scales=2 --epochs=250 
         --perceptual-layer=conv5_2 --smoothness-weight=2e4 --adversary-weight=1e3 
         --generator-start=5 --discriminator-start=0 --adversarial-start=5 
         --discriminator-size=64

# The newly trained model is output into this file...
ls ne ? x-custom- * .pkl.bz2

docs/BankLobby_example.gif

例 #2 — 銀行ロビー: 24 ビット HD で比較を表示、元の写真 CC-BY-SA @benarent。

2. インストールとセットアップ

2.a) Docker イメージの使用 [推奨]

稼働させる最も簡単な方法は、Docker をインストールすることです。その後、 dockerコマンドラインツールを使用して、事前に構築されたイメージをダウンロードして実行できるようになります。 alexjc/neural-enhanceイメージの詳細については、Docker Hub ページをご覧ください。

docker使用してスクリプトを呼び出す最も簡単な方法は次のとおりです。 -v引数を使用してフォルダーをマウントすることに慣れていると仮定すると、これを直接使用して拡張するファイルを指定できます。

 # Download the Docker image and show the help text to make sure it works.
docker run --rm -v ` pwd ` :/ne/input -it alexjc/neural-enhance --help

単一イメージ— 実際には、指定したイメージを含むフォルダーを自動的に公開するために、 enhanceというエイリアスを設定して、スクリプトがイメージを読み取り、アクセスできる場所に結果を保存できるようにすることをお勧めします。 OSX または Linux のターミナルコンソールでこれを行う方法は次のとおりです。

 # Setup the alias. Put this in your .bashrc or .zshrc file so it's available at startup.
alias enhance= ' function ne() { docker run --rm -v "$(pwd)/`dirname ${@:$#}`":/ne/input -it alexjc/neural-enhance ${@:1:$#-1} "input/`basename ${@:$#}`"; }; ne '

# Now run any of the examples above using this alias, without the `.py` extension.
enhance --zoom=1 --model=repair images/broken.jpg

複数のイメージ— フォルダーまたはワイルドカード指定から複数のイメージを連続して (高速に) 拡張するには、エイリアスコマンドの引数を必ず引用符で囲みます。

 # Process multiple images, make sure to quote the argument!
enhance --zoom=2 " images/*.jpg "

NVIDIA GPU で実行したい場合は、代わりに、CUDA と CUDNN がプリインストールされているイメージalexjc/neural-enhance:gpu使用するようにエイリアスを変更できます。次に、nvidia-docker 内で実行すると、物理ハードウェアが使用されるはずです。

2.b) 手動インストール [開発者]

このプロジェクトには Python 3.4 以降が必要で、 numpyとscipy (数値計算ライブラリ)、およびシステム全体にインストールされたpython3-devも必要です。さらに詳細な手順が必要な場合は、次の手順に従ってください。

Lasagne の Linux インストール(中級)
Mac OSX Lasagne のインストール(上級)
Lasagne の Windows インストール(エキスパート)

リポジトリを取得した後、ターミナルから次のコマンドを実行してローカル環境をセットアップできます。

 # Create a local environment for Python 3.x to install dependencies here.
python3 -m venv pyvenv --system-site-packages

# If you're using bash, make this the active version of Python.
source pyvenv/bin/activate

# Setup the required dependencies simply using the PIP module.
python3 -m pip install --ignore-installed -r requirements.txt

この後、仮想環境にpillow 、 theano 、 lasagneインストールされているはずです。また、この事前トレーニング済みニューラルネットワーク (VGG19、80Mb) をダウンロードし、実行するスクリプトと同じフォルダーに配置する必要があります。すべてをアンインストールするには、 #/pyvenv/フォルダーを削除するだけです。

docs/Faces_example.png