RALF ダウンロード - RALF ソースコードのダウンロード

ラルフ

その他のソースコード

1.0.0

ダウンロード

コンテンツを意識したレイアウト生成のための検索拡張レイアウトトランスフォーマー

堀田大地¹井上直人²菊池幸太郎²山口康太²逢沢清春¹
¹東京大学、 ²サイバーエージェント

CVPR 2024 (口頭)

Content-aware graphic layout generation電子商取引の商品画像などの特定のコンテンツに合わせて視覚要素を自動的に配置することを目的としています。このリポジトリは、 content-aware layout generationのためのオールインワンパッケージを提供することを目的としています。このリポジトリが気に入ったら、スターを付けてください。

この論文では、 Retrieval-augmented content-aware layout generationを提案します。入力画像に基づいて最近傍の例を取得し、それらを参照として使用して生成プロセスを強化します。

コンテンツ

設定
データセットの分割
データセットの前処理
トレーニング
推論と評価
キャンバスを使用した推論

ベンチマークの概要

私たちは、独自のメソッド (RALF / Autoreg Baseline) だけでなく、コンテンツを意識したレイアウト生成のための他の最先端のメソッドも提供します。このリポジトリには次のメソッドが含まれています。

Autoreg ベースライン [Horita+ CVPR24]
ラルフ [ホリタ+ CVPR24]
CGL-GAN [周+ IJCAI22]
DS-GAN [スー+ CVPR23]
ICVT [Cao+ ACMMM22]
レイアウトDM [井上+CVPR23]
マスクGIT [Zhang+ CVPR22]
VQディフュージョン [Gu+ CVPR22]

設定

コードを簡単に試すには、Docker を使用することをお勧めします。

1. 要件

Python3.9+
PyTorch 1.13.1

Poetry (すべての設定と依存関係は pyproject.toml にあります) を使用することをお勧めします。

2. インストール方法

地域環境

詩をインストールします (公式ドキュメントを参照)。

curl -sSL https://install.python-poetry.org | python3 -

依存関係をインストールします (遅いかもしれません..)

poetry install

Docker環境

Dockerイメージを構築する

bash scripts/docker/build.sh

コンテナをシェルに取り付けます。

bash scripts/docker/exec.sh

依存関係をコンテナにインストールする

poetry install

3. グローバル環境変数を設定する

いくつかの変数を設定する必要があります。 script/bin/setup.shは各自で作成してください。少なくともこれら 3 つの変数を設定する必要があります。提供された zip をダウンロードする場合は、セットアップを無視してください。

DATA_ROOT= " ./cache/dataset "

いくつかの変数が設定される可能性があります (例: OMP_NUM_THREADS )

4. チェックポイントと実験結果

Autoreg Baseline のチェックポイントと生成されたレイアウト、および制約のないタスクと制約のあるタスクの RALF は、Google ドライブまたは Microsoft OneDrive で入手できます。ダウンロード後、このディレクトリにあるunzip cache.zipを実行してください。ファイルサイズは13GBであることに注意してください。

cacheディレクトリには次のものが含まれます。

cache/datasetの前処理された CGL データセット。
cache/PRECOMPUTED_WEIGHT_DIR内のレイアウトエンコーダーと ResNet50 の重み。
CGL の事前に計算されたレイアウト機能cache/eval_gt_features 。
cache/pku_cgl_relationships_dic_using_canvas_sort_label_lexico.pt内のrelationshipタスクの要素の関係。
Autoreg Baseline と RALF の両方のチェックポイントと評価結果は、 cache/training_logsにあります。

データセットの分割

トレーニング / テスト / 検証 / 実際のデータ分割

セクション 4.1 で詳しく説明したように、トレーニングセットを検証サブセットとテストサブセットに分割することにより、PKU および CGL データセットに対して前処理を実行します。 CGL データセットは、分散されているため、すでにこれらの部分に分割されています。結果を再現するために、 data_splits/splits/ディレクトリ内のファイル名の詳細を提供します。設定に基づいて実験を実施し、CGL-GAN や DS-GAN などの報告されたスコアを使用する場合は、これらの事前定義された分割の使用をお勧めします。

取得したサンプルのID

トレーニング分割を取得ソースとして使用します。たとえば、RALF が PKU を使用してトレーニングされる場合、PKU のトレーニング分割がトレーニングと評価に使用されます。 data_splits/retrieval/で DreamSim [Fu+ NeurIPS23] を使用して、事前に計算された対応を提供します。データ構造は以下の通りです

 FILENAME :
    - FILENAME top1
    - FILENAME top2
    ...
    - FILENAME top16

/.pngから画像をロードできます。

データセットの前処理

できるだけ早く実験を実行できるよう、データセットを前処理することを強くお勧めします。
--dataset_type (pku|cgl)を指定することで、各スクリプトを PKU と CGL の両方の処理に使用できます。

データセットのセットアップ

括弧付きのフォルダー名は、このパイプラインによって生成されます。

 
| - annotation
| | (for PKU)
| | - train_csv_9973.csv
| | - [test_csv_905.csv](https://drive.google.com/file/d/19BIHOdOzVPBqf26SZY0hu1bImIYlRqVd/view?usp=sharing)
| |  (for CGL)
| | - layout_train_6w_fixed_v2.json
| | - layout_test_6w_fixed_v2.json
| | - yinhe.json
| - image
| | - train
| | | - original: image with layout elements
| | | - (input): image without layout elements (by inpainting)
| | | - (saliency)
| | | - (saliency_sub)
| | - test
| | | - input: image without layout elements
| | | - (saliency)
| | | - (saliency_sub)

画像の修復

poetry run python image2layout/hfds_builder/inpainting.py --dataset_root < DATASET_ROOT >

顕著性の検出

poetry run python image2layout/hfds_builder/saliency_detection.py --input_dir < INPUT_DIR > --output_dir < OUTPUT_DIR > (--algorithm (isnet | basnet))

データを集約して HFDS にダンプする

poetry run python image2layout/hfds_builder/dump_dataset.py --dataset_root < DATASET_ROOT > --output_dir < OUTPUT_DIR >

トレーニング

ヒント

configs/_.shは、各メソッドとデータセットのハイパーパラメータと設定が含まれています。詳細はファイルを参照してください。特に、デバッグモードDEBUG=True or Falseを確認してください。

CGL による自動登録ベースライン

走ってください

bash scripts/train/autoreg_cgl.sh < GPU_ID > < TASK_NAME >
# If you wanna run train and eval, please run
bash scripts/run_job/end_to_end.sh < GPU_ID e.g. 0> autoreg cgl < TASK_NAME e.g. uncond >

ここで、 TASK_NAME制約のないタスクと制約のあるタスクを示します。以下のタスクリストを参照してください。

uncond : 制約のない生成
c : カテゴリ → サイズ + 位置
cwh : カテゴリ + サイズ → 位置
partial ：完成
refinement : 洗練
relation : 関係

RALFとCGL

インペインティングを行ったデータセット。

走ってください

bash scripts/train/ralf_cgl.sh < GPU_ID > < TASK_NAME >
# If you wanna run train and eval, please run
bash scripts/run_job/end_to_end.sh < GPU_ID e.g. 0> ralf cgl < TASK_NAME e.g. uncond >

その他の方法

たとえば、次のスクリプトは役立ちます。 end_to_end.sh 、トレーニング、推論、評価のためのラッパースクリプトです。

 # DS-GAN with CGL dataset
bash scripts/run_job/end_to_end.sh 0 dsgan cgl uncond
# LayoutDM with CGL dataset
bash scripts/run_job/end_to_end.sh 2 layoutdm cgl uncond
# CGL-GAN + Retrieval Augmentation with CGL dataset
bash scripts/run_job/end_to_end.sh 2 cglgan_ra cgl uncond

推論と評価

実験結果はcache/training_logsに提供されます。たとえば、 autoreg_c_cglのディレクトリ (カテゴリ → サイズ + 位置による Autoreg Baseline タスクの結果) には、次のものが含まれます。

test_.pkl : 生成されたレイアウト
layout_test_.png : レンダリングされたレイアウト。上部のサンプルはグラウンドトゥルース、下部のサンプルは予測されたサンプルです。
gen_final_model.pt : 最終チェックポイント
scores_test.tex : 要約された定性的結果

注釈付き分割

見て走ってください

bash scripts/eval_inference/eval_inference.sh < GPU_ID > < JOB_DIR > < COND_TYPE > cgl

例えば、

 # Autoreg Baseline with Unconstraint generation
bash scripts/eval_inference/eval_inference.sh 0 " cache/training_logs/autoreg_uncond_cgl " uncond cgl

注釈なしの分割

実際のキャンバスを含むデータセット、つまり修復なし。

見て走ってください

bash scripts/eval_inference/eval_inference_all.sh < GPU_ID >

キャンバスを使用した推論

走ってください

bash scripts/run_job/inference_single_data.sh < GPU_ID > < JOB_DIR > cgl < SAMPLE_ID >

ここで、 SAMPLE_IDオプションでデータセットインデックスとして設定できます。

例えば、

bash scripts/run_job/inference_single_data.sh 0 " ./cache/training_logs/ralf_uncond_cgl " cgl

個人データを使用した推論

データをロードするには、image2layout/train/inference_single_data.py をカスタマイズしてください。

引用

私たちの研究があなたの研究に役立つと思われる場合は、以下を引用することを検討してください。

 @article { horita2024retrievalaugmented ,
    title = { {Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation} } ,
    author = { Daichi Horita and Naoto Inoue and Kotaro Kikuchi and Kota Yamaguchi and Kiyoharu Aizawa } ,
    booktitle = { CVPR } ,
    year = { 2024 }
}