ブラー2ブラー

「Blur2Blur: 未知のドメイン上の教師なし画像のブラー除去のためのブラー変換」(CVPR'24) の公式 Pytorch 実装

バンダン・ファム・フォン・チャン・アイン・チャン・クオン・ファム・ラン・グエン・ミン・ホアイ

VinAI Research、ベトナム

TL;DR : Blur2Blur は、画像を未知のブラーから既知のブラーに変換します。このバージョンは、元のコンテンツを保持しながら、監視ぼけ除去モデルによって効果的にトレーニングおよびキャプチャされた別のぼかしカーネルを適用します。

要約: この論文では、特定のカメラ デバイスに合わせた画像のブレ除去アルゴリズムをトレーニングするように設計された革新的なフレームワークを紹介します。このアルゴリズムは、ぼやけを除去するのが難しいぼやけた入力画像を、ぼけを除去しやすい別のぼやけた画像に変換することによって機能します。あるぼやけた状態から別のぼやけた状態への変換プロセスでは、ターゲットのカメラ デバイスで撮影された鮮明な画像とぼやけた画像からなる不対データを利用します。このブラーからブラーへの変換の学習は、画像の詳細を再構成する複雑な作業ではなく主にブラー パターンの変更を伴うため、ブラーからシャープへの直接変換よりも本質的に簡単です。提案されたアプローチの有効性は、さまざまなベンチマークでの包括的な実験を通じて実証されており、量的および質的に最先端の方法を大幅に上回っています。

モデル アーキテクチャと実験結果の詳細については、次の論文を参照してください。

 @inproceedings { pham2024blur2blur ,
 author = { Pham, Bang-Dang and Tran, Phong and Tran, Anh and Pham, Cuong and Nguyen, Rang and Hoai, Minh } ,
 booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) } ,
 title = { Blur2Blur: Blur Conversion for Unsupervised Image Deblurring on Unknown Domains } ,
 year = { 2024 }
}

このリポジトリを使用して結果を公開したり、他のソフトウェアに組み込んだりする場合は、必ず論文を引用してください。

目次

1. はじめる
2. データセット
3. ブラー2ブラー
4. 結果
5. 謝辞
6. 連絡先

はじめる

前提条件

• Python >= 3.7
• ピトーチ >= 1.9.0
• CUDA >= 10.0

インストール

依存関係をインストールします。

git clone https://github.com/VinAIResearch/Blur2Blur
cd Blur2Blur

conda create -n blur2blur python=3.9  
conda activate blur2blur  
pip install -r requirements.txt  

データセット ?

データの準備

次のスクリプトに従って、提案された RB2V データセットをダウンロードできます。

 chmod +x ./dataset/download_RB2V.sh
bash ./dataset/download_RB2V.sh

データセット REDS、GoPro、RSBlur をダウンロードして、フォルダー./datasetに解凍し、次の形式に従って整理します。

データセット
§── Unknown-Known データセットの名前 (例: RB2V-GoPro)
    §── trainA
    §──── (電車) Unknown Blur の Blurry set
    §──── ...
    §── trainB
    §──── (電車) 未知のブラーのシャープなセット
    §──── ...
    §── trainC
    §──── (Train) Known Blur の Blurry セット
    §──── ...
    §── trainD
    §──── (Train) Known Blur のシャープなセット
    §──── ...
    §── テストA
    §──── (テスト) Unknown Blur の Blurry set
    §──── ...

どこ：

• trainA、trainB : ブラー カーネル変換用の Unknown Blur データセットからのブラー/シャープ イメージ。
• trainC、trainD : ターゲットぼかしドメインの既知のぼかしデータセットからのぼかし/シャープ画像。
• testA : Unknown Blur データセットのtest-setからのぼやけた画像。

ブラー2ブラー

トレーニング

モデルをトレーニングするには:

python train.py --dataroot path/to/dataset 
                --name exp_name 
                --model blur2blur --netG mimounet 
                --batch_size 1 
                --dataset_mode unaligned 
                --norm instance --pool_size 0 
                --display_id -1

または

bash ./scripts/train.sh

Blur2Blur の使用

モデルを評価するには:

python test.py --dataroot datasets/GoPro/b2b_exp/RB2V_GOPRO_filter 
                --name exp_name 
                --eval 
                --model blur2blur --netG mimounet 
                --checkpoints_dir ckpts/ 
                --dataset_mode unaligned 
                --norm instance 

または

bash ./scripts/test.sh

結果 ？

よりインタラクティブな結果については、私のプロジェクト ページをご覧ください: https://zero1778.github.io/blur2blur/

謝辞

Blur2Blur の開発に貢献した次の実装に感謝の意を表します。

• pix2pix は、基本的なコード モデルを提供します。
• uvcgan2 は、ベースライン コードの強化に役立ちます。
• プロジェクトに不可欠なバックボーンとサブモジュールを作成するための MIMO-UNet と Blur Kernel Extractor。

連絡先 ?

このリポジトリに関してご質問やご提案がございましたら、お気軽に私 ([email protected]) までご連絡ください。