ltsim

tata letak-eval

Pengaturan

Kami menggunakan puisi untuk mengelola ketergantungan. Instal puisi dan jalankan perintah berikut untuk menginstal dependensi.

 poetry install

Persiapan data

Unduh kumpulan data yang telah diproses sebelumnya dan tata letak yang dihasilkan dengan menjalankan perintah berikut.

 wget https://github.com/mayu-ot/ltsim/releases/download/v1.0.0-alpha/data.zip
unzip data.zip

Direktori data akan terlihat seperti ini:

 data
├── datasets # post-processed datasets
│   ├── rico25
│   │   ├── test.json
│   │   ├── train.json
│   │   └── val.json
│   └── publaynet
├──fid_feat # pre-extracted features for FID evaluation
├── results_conditional # generated layouts for conditional layout generation
│   ├── publaynet
│   └── rico
└── results_conditional # generated layouts for unconditional layout generation
    ├── publaynet
    └── rico
        ├── partial # generated layouts for layout completion
        └── c # generated layouts for label-conditioned layout generation
            ├── bart
            ├── ...
            └──vqdiffusion

Ekstraksi fitur FID

1. Unduh sumber daya LayoutDM dan salin download/fid_weights/FIDNetV3/rico25-max25/model_best.pth.tar ke $FID_WEIGHT_FILE.
2. Jalankan perintah berikut untuk mengekstrak fitur tata letak guna mengevaluasi FID pada kumpulan data RICO.

 python src/experiments/feature_extraction.py 
  --dataset_type rico25 
  --input_dataset_json $DATASET_JSON 
  --output_feat_file $OUTPUT_FILE_NAME 
  --fid_weight_file $FID_WEIGHT_FILE

Evaluasi pembuatan tata letak bersyarat

Unduh tata letak yang dihasilkan di ./data dengan mengikuti instruksi. Jalankan script untuk mendapatkan hasil evaluasi pada RICO. Hasilnya disimpan di data/results/eval_conditional/rico/result.csv

 poetry run python src/experiments/eval_conditional.py rico

Evaluasi pembuatan tata letak tanpa syarat

Unduh tata letak yang dihasilkan di ./data dengan mengikuti instruksi. Jalankan script untuk mendapatkan hasil evaluasi pada RICO. Hasilnya disimpan di $RESULT_FILE.

 poetry run python src/experiments/eval_unconditional.py rico $RESULT_FILE

Demo

Untuk menjalankan aplikasi berulang guna mencoba metrik evaluasi, jalankan perintah berikut.

 streamlit run src/app/measure_explore.py