eie earth public

地球インテリジェンスエンジン

深い生成ビジョン モデルを使用して、物理的に一貫した気候変動の視覚化を作成する

これは Earth Intelligence Engine の公式リポジトリです。このコードは、ディープ ジェネレーティブ ビジョン モデル (GAN) をトレーニングおよび評価して、将来の洪水の物理的に一貫した画像を合成します。このコードは、航空画像で洪水セグメンテーション モデルもトレーニングします。

はじめる

設定

 git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .

conda を使用して環境をセットアップすることをお勧めします。 conda に慣れていない場合は、この概要を読んでください。

git clone --recursive使用する理由モデルをホストするための git サブモジュールが少なくとも 1 つあるためです。これは、リモートを更新するときにgit submodule update実行する必要があることを意味します。

データセット

ハグフェイスからダウンロード

私たちの完全なデータセット、eie-earth-intelligence-engine は、huggingface で入手できます。 git lfs 経由でデータセットをダウンロードするには、データセットの README.md の指示に従ってください。

主な結果を再現する

フラッド画像間 (im2im) 変換モデルのトレーニング

• 主要なモデルについては、リンクのノートブックに従ってください。このノートブックには、xbd2xbd でフラッド im2im モデルをトレーニングするためのターミナル コマンドが含まれています。トレーニング後、モデルを使用してテスト セットに対する予測が作成され、洪水セグメンテーション モデルを使用して、生成された画像の洪水マスクが作成されます。
• Index.html を開いてトレーニングを監視します。

ベースライン洪水可視化モデルを再作成する

• VAEGAN はリンクで再トレーニングできます。
• 手動で生成したベースラインは、[link]("sandbox/Color Baseline/SegmentFlood_color.ipynb") を使用して作成できます。

im2im モデルの評価

• Evaluate_notebook.ipynb で呼び出される eval_main() で画像を評価します。

オプション: 補助結果を再現します。

xbd-seg でフラッド セグメンテーション モデルを再トレーニングし、フラッド前およびフラッド後のセグメンテーションを作成します。

• 他のリポジトリ eie-flood-seg に従って、洪水セグメンテーション モデルをトレーニングし、評価します。
• モデルの重みを Checkpoints/temp/ から pretrained/ にコピーして貼り付けます。

naip2xbd と naip2hou の一般化実験をトレーニングする

• Train_conditional_binary_scratch_naip.ipynb ノートブックに従ってください

森林、forest-gtm、および北極の画像の拡張

• arctic-sea-ice-seg を使用して北極海氷セグメンテーション モデルをトレーニングする
• 植林の視覚化を生成するコードは現在利用できません。

生データを再ダウンロードして処理する

• xbd2xbd: eie-preprocessing リポジトリの手順を実行して、データセットをダウンロードして処理します。最初のステップは、eie-preprocessing/scripts/download_xBD_geotiles.sh のスクリプトに従って、生の xBD フラッド イメージを xview からダウンロードすることです。
• xbd-seg: xbd2xbd のデータに手動でラベルを付ける
• {naip2xbd、naip2hou、hou-seg}: 文書の指示に従ってください。
• 北極: arctic-sea-ice リポジトリの full-pipeline/pipeline.sh の指示に従います。
• {forest、forest-gtm}: 文書の指示に従ってください。

視覚化

• align_slosh_w_naip.ipynb -> 「生成された画像から大きな tif を作成」を使用して、生成された画像を大きな地理空間マップとして視覚化します。

フォルダー構造

 - archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data 
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models

参照

 @article{lutjens2024eie,
  author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations}, 
  year = {2024},
  doi={10.1109/TGRS.2024.3493763}
}