ltsim

évaluation de la mise en page

Installation

Nous utilisons la poésie pour gérer les dépendances. Installez la poésie et exécutez la commande suivante pour installer les dépendances.

 poetry install

Préparation des données

Téléchargez l'ensemble de données prétraité et les mises en page générées en exécutant la commande suivante.

 wget https://github.com/mayu-ot/ltsim/releases/download/v1.0.0-alpha/data.zip
unzip data.zip

Le répertoire de données devrait ressembler à ceci :

 data
├── datasets # post-processed datasets
│   ├── rico25
│   │   ├── test.json
│   │   ├── train.json
│   │   └── val.json
│   └── publaynet
├──fid_feat # pre-extracted features for FID evaluation
├── results_conditional # generated layouts for conditional layout generation
│   ├── publaynet
│   └── rico
└── results_conditional # generated layouts for unconditional layout generation
    ├── publaynet
    └── rico
        ├── partial # generated layouts for layout completion
        └── c # generated layouts for label-conditioned layout generation
            ├── bart
            ├── ...
            └──vqdiffusion

Extraction de fonctionnalités FID

1. Téléchargez les ressources LayoutDM et copiez download/fid_weights/FIDNetV3/rico25-max25/model_best.pth.tar dans $FID_WEIGHT_FILE.
2. Exécutez la commande suivante pour extraire les fonctionnalités de mise en page afin d’évaluer le FID sur l’ensemble de données RICO.

 python src/experiments/feature_extraction.py 
  --dataset_type rico25 
  --input_dataset_json $DATASET_JSON 
  --output_feat_file $OUTPUT_FILE_NAME 
  --fid_weight_file $FID_WEIGHT_FILE

Évaluer la génération de mise en page conditionnelle

Téléchargez les mises en page générées dans ./data en suivant les instructions. Exécutez le script pour obtenir les résultats de l'évaluation sur RICO. Les résultats sont enregistrés dans data/results/eval_conditional/rico/result.csv

 poetry run python src/experiments/eval_conditional.py rico

Évaluer la génération de mise en page inconditionnelle

Téléchargez les mises en page générées dans ./data en suivant les instructions. Exécutez le script pour obtenir les résultats de l'évaluation sur RICO. Les résultats sont enregistrés dans $RESULT_FILE.

 poetry run python src/experiments/eval_unconditional.py rico $RESULT_FILE

Démo

Pour exécuter une application itérative afin d'essayer les métriques d'évaluation, exécutez la commande suivante.

 streamlit run src/app/measure_explore.py