LTSIM

レイアウト評価

設定

私たちは依存関係を管理するために詩を使用します。詩をインストールし、次のコマンドを実行して依存関係をインストールします。

 poetry install

データの準備

次のコマンドを実行して、前処理されたデータセットと生成されたレイアウトをダウンロードします。

 wget https://github.com/mayu-ot/ltsim/releases/download/v1.0.0-alpha/data.zip
unzip data.zip

データ ディレクトリは次のようになります。

 data
├── datasets # post-processed datasets
│   ├── rico25
│   │   ├── test.json
│   │   ├── train.json
│   │   └── val.json
│   └── publaynet
├──fid_feat # pre-extracted features for FID evaluation
├── results_conditional # generated layouts for conditional layout generation
│   ├── publaynet
│   └── rico
└── results_conditional # generated layouts for unconditional layout generation
    ├── publaynet
    └── rico
        ├── partial # generated layouts for layout completion
        └── c # generated layouts for label-conditioned layout generation
            ├── bart
            ├── ...
            └──vqdiffusion

FID特徴抽出

1. LayoutDM リソースをダウンロードし、 download/fid_weights/FIDNetV3/rico25-max25/model_best.pth.tarを $FID_WEIGHT_FILE にコピーします。
2. 次のコマンドを実行してレイアウト フィーチャを抽出し、RICO データセットの FID を評価します。

 python src/experiments/feature_extraction.py 
  --dataset_type rico25 
  --input_dataset_json $DATASET_JSON 
  --output_feat_file $OUTPUT_FILE_NAME 
  --fid_weight_file $FID_WEIGHT_FILE

条件付きレイアウト生成の評価

指示に従って、生成されたレイアウトを./dataにダウンロードします。スクリプトを実行してRICOでの評価結果を取得します。結果はdata/results/eval_conditional/rico/result.csvに保存されます。

 poetry run python src/experiments/eval_conditional.py rico

無条件レイアウト生成の評価

指示に従って、生成されたレイアウトを./dataにダウンロードします。スクリプトを実行してRICOでの評価結果を取得します。結果は $RESULT_FILE に保存されます。

 poetry run python src/experiments/eval_unconditional.py rico $RESULT_FILE

デモ

反復アプリを実行して評価メトリクスを試すには、次のコマンドを実行します。

 streamlit run src/app/measure_explore.py