ltsim

evaluación de diseño

Configuración

Usamos la poesía para gestionar las dependencias. Instale poesía y ejecute el siguiente comando para instalar dependencias.

 poetry install

Preparación de datos

Descargue el conjunto de datos preprocesado y los diseños generados ejecutando el siguiente comando.

 wget https://github.com/mayu-ot/ltsim/releases/download/v1.0.0-alpha/data.zip
unzip data.zip

El directorio de datos debería verse así:

 data
├── datasets # post-processed datasets
│   ├── rico25
│   │   ├── test.json
│   │   ├── train.json
│   │   └── val.json
│   └── publaynet
├──fid_feat # pre-extracted features for FID evaluation
├── results_conditional # generated layouts for conditional layout generation
│   ├── publaynet
│   └── rico
└── results_conditional # generated layouts for unconditional layout generation
    ├── publaynet
    └── rico
        ├── partial # generated layouts for layout completion
        └── c # generated layouts for label-conditioned layout generation
            ├── bart
            ├── ...
            └──vqdiffusion

Extracción de características FID

1. Descargue los recursos de LayoutDM y copie download/fid_weights/FIDNetV3/rico25-max25/model_best.pth.tar a $FID_WEIGHT_FILE.
2. Ejecute el siguiente comando para extraer características de diseño para evaluar FID en el conjunto de datos RICO.

 python src/experiments/feature_extraction.py 
  --dataset_type rico25 
  --input_dataset_json $DATASET_JSON 
  --output_feat_file $OUTPUT_FILE_NAME 
  --fid_weight_file $FID_WEIGHT_FILE

Evaluar la generación de diseño condicional

Descargue los diseños generados en ./data siguiendo las instrucciones. Ejecute el script para obtener resultados de evaluación en RICO. Los resultados se guardan en data/results/eval_conditional/rico/result.csv

 poetry run python src/experiments/eval_conditional.py rico

Evaluar la generación de diseño incondicional

Descargue los diseños generados en ./data siguiendo las instrucciones. Ejecute el script para obtener resultados de evaluación en RICO. Los resultados se guardan en $RESULT_FILE.

 poetry run python src/experiments/eval_unconditional.py rico $RESULT_FILE

Manifestación

Para ejecutar una aplicación iterativa para probar las métricas de evaluación, ejecute el siguiente comando.

 streamlit run src/app/measure_explore.py