eie earth public

지구지능엔진

심층 생성 비전 모델을 사용하여 물리적으로 일관된 기후 현상 시각화 생성

이것은 Earth Intelligence Engine의 공식 저장소입니다. 이 코드는 미래의 홍수에 대해 물리적으로 일관된 이미지를 합성하기 위해 심층 생성 비전 모델(GAN)을 훈련하고 평가합니다. 또한 이 코드는 항공 이미지에 대한 홍수 분할 모델을 훈련합니다.

시작하기

설정

 git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .

conda를 사용하여 환경을 설정하는 것이 좋습니다. Conda에 익숙하지 않다면 이 소개를 읽어보세요.

왜 git clone --recursive 인가요? 모델 호스팅을 위한 git 하위 모듈이 하나 이상 있기 때문입니다. 이는 리모컨을 업데이트할 때 git submodule update 실행해야 함을 의미합니다.

데이터세트

허깅페이스에서 다운로드

우리의 전체 데이터세트인 eie-earth-intelligence-engine은 Huggingface에서 이용 가능합니다. git lfs를 통해 데이터세트를 다운로드하려면 README.md 데이터세트의 지침을 따르세요.

주요 결과 재현

홍수 이미지-이미지(im2im) 변환 모델 학습

• 주요 모델의 경우 링크의 노트북을 따르십시오. 이 노트북에는 xbd2xbd에서 Flood im2im 모델을 훈련하는 터미널 명령이 포함되어 있습니다. 훈련 후 모델은 테스트 세트에 대한 예측을 생성하는 데 사용되고 홍수 분할 모델은 생성된 이미지의 홍수 마스크를 생성하는 데 사용됩니다.
• index.html을 열어 훈련을 모니터링하세요.

기준 홍수 시각화 모델 재현

• VAEGAN은 링크를 통해 재훈련할 수 있습니다.
• 손으로 생성한 기준선은 [링크]("sandbox/Color Baseline/Segmentflood_color.ipynb")를 사용하여 생성할 수 있습니다.

im2im 모델 평가

• estimate_notebook.ipynb에서 호출된 대로 eval_main()을 사용하여 이미지를 평가합니다.

선택 사항: 보조 결과 재현

xbd-seg에서 홍수 세분화 모델을 재교육하고 홍수 전후 세분화를 생성합니다.

• 다른 저장소 eie-flood-seg를 따라 홍수 세분화 모델을 훈련하고 평가합니다.
• 체크포인트/임시/에서 모델 가중치를 복사하여 사전 훈련된/에 붙여넣습니다.

naip2xbd 및 naip2hou에 대한 일반화 실험 학습

• Train_conditional_binary_scratch_naip.ipynb 노트북을 따르세요.

숲, 숲-gtm, 북극 이미지 확장

• Arctic-sea-ice-seg를 사용하여 북극 해빙 분할 모델 학습
• 재삼림화 시각화를 생성하는 코드는 현재 사용할 수 없습니다.

원시 데이터를 다시 다운로드하고 처리합니다.

• xbd2xbd: eie-preprocessing 저장소의 단계를 실행하여 데이터 세트를 다운로드하고 처리합니다. 첫 번째 단계는 다음 스크립트에 따라 xview에서 원시 xBD 홍수 이미지를 다운로드하는 것입니다: eie-preprocessing/scripts/download_xBD_geotiles.sh
• xbd-seg: xbd2xbd의 핸드 라벨 데이터
• {naip2xbd, naip2hou, hou-seg}: 문서의 지침을 따르세요.
• arctic: arctic-sea-ice 저장소에 있는 full-pipeline/pipeline.sh의 지침을 따르세요.
• {forest, Forest-gtm}: 문서의 지침을 따르세요.

심상

• align_slosh_w_naip.ipynb -> "생성된 이미지에서 큰 tif 생성"을 사용하여 생성된 이미지를 대규모 지리공간 지도로 시각화합니다.

폴더 구조

 - archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data 
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models

참조

 @article{lutjens2024eie,
  author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations}, 
  year = {2024},
  doi={10.1109/TGRS.2024.3493763}
}