eie earth public

Mesin Intelijen Bumi

Menciptakan Visualisasi Peristiwa Iklim yang Konsisten Secara Fisik dengan Model Visi Generatif yang Mendalam

Ini adalah gudang resmi untuk Earth Intelligence Engine. Kode ini melatih dan mengevaluasi model visi generatif mendalam (GAN) untuk mensintesis gambaran banjir di masa depan yang konsisten secara fisik. Kode tersebut juga melatih model segmentasi banjir pada citra udara.

Memulai

Pengaturan

 git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .

Kami merekomendasikan untuk mengatur lingkungan Anda dengan conda. Jika Anda tidak terbiasa dengan conda, baca intro ini.

Mengapa git clone --recursive ? Karena kami memiliki setidaknya satu submodul git untuk model hosting. Ini berarti Anda harus menjalankan git submodule update saat memperbarui remote Anda.

Kumpulan data

Unduh dari pelukanwajah

Kumpulan data lengkap kami, eie-earth-intelligence-engine, tersedia di huggingface. Untuk mendownload dataset melalui git lfs silahkan ikuti petunjuk di dataset README.md

Reproduksi hasil utama

Latih model terjemahan gambar-ke-gambar (im2im) banjir

• Untuk model utama ikuti notebook di link. Notebook ini berisi perintah terminal untuk melatih model im2im banjir di xbd2xbd. Setelah pelatihan, model digunakan untuk membuat prediksi atas set pengujian dan model segmentasi banjir digunakan untuk membuat masker banjir dari citra yang dihasilkan.
• Pantau pelatihan dengan membuka index.html

Buat ulang model visualisasi banjir dasar

• VAEGAN dapat dilatih ulang dengan tautan.
• Garis dasar yang dibuat dengan tangan dapat dibuat dengan [link]("sandbox/Color Baseline/Segment Flood_color.ipynb").

Evaluasi model im2im

• Evaluasi citra dengan eval_main() seperti yang disebut di evaluasi_notebook.ipynb

Opsional: Mereproduksi hasil tambahan

Latih kembali model segmentasi banjir di xbd-seg dan buat segmentasi sebelum dan sesudah banjir

• Latih, evaluasi model segmentasi banjir dengan mengikuti repositori kami yang lain eie-flood-seg
• Salin dan tempel bobot model dari pos pemeriksaan/temp/ ke dalam pretrained/

Latih eksperimen generalisasi untuk naip2xbd dan naip2hou

• Ikuti buku catatan Train_conditional_binary_scratch_naip.ipynb

Perluasan pada citra hutan, hutan-gtm, dan arktik

• Melatih model segmentasi es laut Arktik dengan segmen es laut Arktik
• Kode untuk menghasilkan visualisasi reboisasi saat ini belum tersedia.

Unduh ulang dan proses data mentah

• xbd2xbd: Jalankan langkah-langkah di repositori eie-preprocessing kami untuk mengunduh dan memproses kumpulan data. Langkah pertama adalah mengunduh citra banjir xBD mentah dari xview dengan mengikuti skrip di: eie-preprocessing/scripts/download_xBD_geotiles.sh
• xbd-seg: Data label tangan di xbd2xbd
• {naip2xbd, naip2hou, hou-seg}: Ikuti instruksi di kertas.
• Arktik: Ikuti instruksi di full-pipeline/pipeline.sh di repositori arctic-sea-ice
• {forest, forest-gtm}: Ikuti petunjuk di kertas.

Visualisasi

• Visualisasikan citra yang dihasilkan sebagai peta geospasial besar dengan align_slosh_w_naip.ipynb -> "Buat tif besar dari citra yang dihasilkan"

Struktur folder

 - archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data 
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models

Referensi

 @article{lutjens2024eie,
  author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations}, 
  year = {2024},
  doi={10.1109/TGRS.2024.3493763}
}