eie earth public

Motor de inteligencia terrestre

Creación de visualizaciones físicamente consistentes de eventos climáticos con modelos de visión generativa profunda

Este es el repositorio oficial de Earth Intelligence Engine. Este código entrena y evalúa un modelo de visión generativa profunda (GAN) para sintetizar imágenes físicamente consistentes de futuras inundaciones. El código también entrena un modelo de segmentación de inundaciones en imágenes aéreas.

Empezando

Configuración

 git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .

Recomendamos configurar su entorno con conda. Si no está familiarizado con conda, lea esta introducción.

¿Por qué git clone --recursive ? Porque tenemos al menos un submódulo de git para alojar modelos. Esto significa que necesitarás ejecutar git submodule update cuando actualices tu control remoto.

Conjunto de datos

Descargar desde huggingface

Nuestro conjunto de datos completo, eie-earth-intelligence-engine, está disponible en huggingface. Para descargar el conjunto de datos a través de git lfs, siga las instrucciones en el conjunto de datos README.md

Reproducir los resultados principales.

Entrenar el modelo de traducción de imagen a imagen (im2im)

• Para el modelo principal siga el cuaderno en el enlace. Este cuaderno contiene los comandos de terminal para entrenar el modelo Flood im2im en xbd2xbd. Después del entrenamiento, el modelo se usa para crear predicciones sobre el conjunto de prueba y el modelo de segmentación de inundaciones se usa para crear máscaras de inundaciones de las imágenes generadas.
• Supervise la formación abriendo index.html

Recrear los modelos de visualización de inundaciones de referencia.

• El VAEGAN se puede reciclar mediante Link.
• La línea base generada manualmente se puede crear con [enlace]("sandbox/Color Baseline/Segment Flood_color.ipynb").

Evaluar el modelo im2im

• Evalúe las imágenes con eval_main() como se llama en evalua_notebook.ipynb

Opcional: reproducir resultados auxiliares

Vuelva a entrenar el modelo de segmentación de inundaciones en xbd-seg y cree segmentaciones antes y después de la inundación

• Entrene y evalúe el modelo de segmentación de inundaciones siguiendo nuestro otro repositorio eie-flood-seg
• Copie y pegue los pesos del modelo desde checkpoints/temp/ en pretrained/

Entrene los experimentos de generalización para naip2xbd y naip2hou.

• Siga el cuaderno Train_conditional_binary_scratch_naip.ipynb

Extensiones de imágenes de bosques, forest-gtm y árticos

• Entrene un modelo de segmentación del hielo marino del Ártico con arctic-sea-ice-seg
• El código para generar visualizaciones de reforestación no está disponible actualmente.

Vuelva a descargar y procesar los datos sin procesar.

• xbd2xbd: ejecute los pasos en nuestro repositorio de preprocesamiento eie para descargar y procesar el conjunto de datos. El primer paso será descargar las imágenes de inundación xBD sin procesar desde xview siguiendo el script en: eie-preprocessing/scripts/download_xBD_geotiles.sh
• xbd-seg: datos etiquetados manualmente en xbd2xbd
• {naip2xbd, naip2hou, hou-seg}: siga las instrucciones del documento.
• Ártico: Siga las instrucciones en full-pipeline/pipeline.sh en el repositorio de hielo marino ártico.
• {forest, forest-gtm}: siga las instrucciones del documento.

Visualización

• Visualice las imágenes generadas como un mapa geoespacial grande con align_slosh_w_naip.ipynb -> "Crear tif grande a partir de imágenes generadas"

Estructura de carpetas

 - archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data 
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models

Referencia

 @article{lutjens2024eie,
  author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations}, 
  year = {2024},
  doi={10.1109/TGRS.2024.3493763}
}