eie earth public

地球智能引擎

使用深度生成视觉模型创建物理一致的气候事件可视化

这是地球智能引擎的官方存储库。该代码训练和评估深度生成视觉模型 (GAN)，以合成未来洪水的物理一致图像。该代码还在航空图像上训练洪水分割模型。

入门

设置

 git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .

我们建议使用 conda 设置您的环境。如果您不熟悉 conda，请阅读此简介。

为什么 git clone --recursive ？因为我们至少有一个 git 子模块用于托管模型。这意味着您在更新遥控器时需要运行git submodule update 。

数据集

从拥抱脸下载

我们的完整数据集 eie-earth-intelligence-engine 可在 Huggingface 上获取。要通过 git lfs 下载数据集，请按照数据集 README.md 中的说明进行操作

重现主要结果

训练洪水图像到图像 (im2im) 转换模型

• 对于主要型号，请按照链接中的笔记本进行操作。此笔记本包含用于在 xbd2xbd 上训练洪水 im2im 模型的终端命令。训练后，模型用于创建对测试集的预测，洪水分割模型用于创建生成图像的洪水掩模。
• 通过打开index.html来监控训练

重新创建基线洪水可视化模型

• VAEGAN 可以通过链接进行重新训练。
• 可以使用 [link]("sandbox/Color Baseline/SegmentFlood_color.ipynb") 创建手动生成的基线。

评估 im2im 模型

• 使用eval_main() 评估图像，如evaluate_notebook.ipynb 中所调用

可选：重现辅助结果

在 xbd-seg 上重新训练洪水分段模型并创建洪水前和洪水后分段

• 按照我们的其他存储库 eie-flood-seg 训练、评估洪水分段模型
• 将模型权重从 checkpoint/temp/ 复制并粘贴到 pretrained/

训练 naip2xbd 和 naip2hou 的泛化实验

• 按照笔记本 Train_conditional_binary_scratch_naip.ipynb 进行操作

森林、forest-gtm 和北极图像的扩展

• 使用 Arctic-sea-ice-seg 训练北极海冰分割模型
• 用于生成重新造林可视化的代码当前不可用。

重新下载并处理原始数据

• xbd2xbd：执行我们的 eie 预处理存储库中的步骤来下载和处理数据集。第一步是按照以下脚本从 xview 下载原始 xBD 洪水图像：eie-preprocessing/scripts/download_xBD_geotiles.sh
• xbd-seg：xbd2xbd 中的手工标签数据
• {naip2xbd, naip2hou, hou-seg}：按照本文中的说明进行操作。
• arctic：按照 arctic-sea-ice 存储库中 full-pipeline/pipeline.sh 中的说明进行操作
• {forest,forest-gtm}：按照本文中的说明进行操作。

可视化

• 使用align_slosh_w_naip.ipynb ->“从生成的图像创建大型tif”将生成的图像可视化为大型地理空间地图

文件夹结构

 - archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data 
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models

参考

 @article{lutjens2024eie,
  author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations}, 
  year = {2024},
  doi={10.1109/TGRS.2024.3493763}
}