eie earth public

地球智慧引擎

使用深度生成視覺模型創建物理一致的氣候事件視覺化

這是地球智慧引擎的官方儲存庫。此程式碼訓練和評估深度生成視覺模型 (GAN)，以合成未來洪水的物理一致圖像。該程式碼還在航空圖像上訓練洪水分割模型。

入門

設定

 git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .

我們建議使用 conda 設定您的環境。如果您不熟悉 conda，請閱讀此簡介。

為什麼 git clone --recursive ？因為我們至少有一個 git 子模組用於託管模型。這表示您在更新遙控器時需要執行git submodule update 。

數據集

從擁抱臉下載

我們的完整資料集 eie-earth-intelligence-engine 可在 Huggingface 上取得。若要透過 git lfs 下載資料集，請依照資料集 README.md 中的說明進行操作

重現主要結果

訓練洪水影像到影像 (im2im) 轉換模型

• 對於主要型號，請按照連結中的筆記本進行操作。此筆記本包含用於在 xbd2xbd 上訓練洪水 im2im 模型的終端命令。訓練後，模型用於創建對測試集的預測，洪水分割模型用於創建生成圖像的洪水掩模。
• 透過打開index.html來監控訓練

重新建立基線洪水視覺化模型

• VAEGAN 可以透過連結進行重新訓練。
• 可以使用 [link]("sandbox/Color Baseline/SegmentFlood_color.ipynb") 建立手動產生的基線。

評估 im2im 模型

• 使用eval_main() 評估映像，如evaluate_notebook.ipynb 中所調用

可選：重現輔助結果

在 xbd-seg 上重新訓練洪水分段模型並創建洪水前和洪水後分段

• 按照我們的其他儲存庫 eie-flood-seg 訓練、評估洪水分段模型
• 將模型權重從 checkpoint/temp/ 複製並貼上到 pretrained/

訓練 naip2xbd 和 naip2hou 的泛化實驗

• 請依照筆記本 Train_conditional_binary_scratch_naip.ipynb 進行操作

森林、forest-gtm 和北極圖像的擴展

• 使用 Arctic-sea-ice-seg 訓練北極海冰分割模型
• 用於產生重新造林可視化的程式碼目前不可用。

重新下載並處理原始數據

• xbd2xbd：執行我們的 eie 預處理儲存庫中的步驟來下載和處理資料集。第一步是按照以下腳本從 xview 下載原始 xBD 洪水圖像：eie-preprocessing/scripts/download_xBD_geotiles.sh
• xbd-seg：xbd2xbd 中的手動標籤數據
• {naip2xbd, naip2hou, hou-seg}：依照本文的說明進行。
• arctic：按照 arctic-sea-ice 儲存庫中 full-pipeline/pipeline.sh 中的說明進行操作
• {forest,forest-gtm}：請按照本文中的說明進行操作。

視覺化

• 使用align_slosh_w_naip.ipynb ->“從生成的圖像創建大型tif”將生成的圖像可視化為大型地理空間地圖

資料夾結構

 - archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data 
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models

參考

 @article{lutjens2024eie,
  author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations}, 
  year = {2024},
  doi={10.1109/TGRS.2024.3493763}
}