eie earth public

เครื่องยนต์ข่าวกรองโลก

การสร้างการแสดงภาพเหตุการณ์สภาพภูมิอากาศที่สอดคล้องกันทางกายภาพด้วยแบบจำลองการมองเห็นเชิงลึก

นี่คือพื้นที่เก็บข้อมูลอย่างเป็นทางการสำหรับ Earth Intelligence Engine รหัสนี้จะฝึกและประเมินแบบจำลองการมองเห็นเชิงลึก (GAN) เพื่อสังเคราะห์ภาพที่สอดคล้องทางกายภาพของน้ำท่วมในอนาคต รหัสนี้ยังฝึกแบบจำลองการแบ่งส่วนน้ำท่วมในภาพถ่ายทางอากาศอีกด้วย

เริ่มต้นใช้งาน

ตั้งค่า

 git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .

เราขอแนะนำให้ตั้งค่าสภาพแวดล้อมของคุณด้วย conda หากคุณไม่คุ้นเคยกับ conda อ่านบทนำนี้

ทำไมต้อง git clone --recursive ? เนื่องจากเรามีโมดูลย่อย git อย่างน้อยหนึ่งโมดูลสำหรับการโฮสต์โมเดล ซึ่งหมายความว่า คุณจะต้องเรียกใช้ git submodule update เมื่ออัปเดตรีโมตของคุณ

ชุดข้อมูล

ดาวน์โหลดจาก Huggingface

ชุดข้อมูลทั้งหมดของเรา eie-earth-intelligence-engine มีอยู่ที่ Huggingface หากต้องการดาวน์โหลดชุดข้อมูลผ่าน git lfs โปรดทำตามคำแนะนำในชุดข้อมูล README.md

สร้างผลลัพธ์หลักขึ้นมาใหม่

ฝึกโมเดลการแปลแบบภาพต่อภาพ (im2im) แบบน้ำท่วม

• สำหรับรุ่นหลักติดตามโน้ตบุ๊กได้ที่ลิงค์ สมุดบันทึกนี้มีคำสั่งเทอร์มินัลเพื่อฝึกโมเดล Flood im2im บน xbd2xbd หลังจากการฝึก โมเดลจะใช้เพื่อสร้างการทำนายเหนือชุดทดสอบ และใช้แบบจำลองการแบ่งส่วนน้ำท่วมเพื่อสร้างมาสก์น้ำท่วมของภาพที่สร้างขึ้น
• ติดตามการฝึกอบรมโดยเปิด index.html

สร้างแบบจำลองการแสดงภาพน้ำท่วมพื้นฐานขึ้นมาใหม่

• VAEGAN สามารถฝึกใหม่ได้ด้วยลิงก์
• คุณสามารถสร้างเส้นฐานที่สร้างขึ้นเองได้ด้วย [link]("sandbox/Color Baseline/Segment Flood_color.ipynb")

ประเมินโมเดล im2im

• ประเมินภาพด้วย eval_main() ตามที่เรียกใน allowance_notebook.ipynb

ทางเลือก: สร้างผลลัพธ์เสริมขึ้นมาใหม่

ฝึกแบบจำลองการแบ่งส่วนน้ำท่วมบน xbd-seg อีกครั้ง และสร้างการแบ่งส่วนก่อนและหลังน้ำท่วม

• ฝึกอบรม ประเมินแบบจำลองการแบ่งส่วนน้ำท่วมโดยทำตาม eie-flood-seg ที่เก็บข้อมูลอื่นๆ ของเรา
• คัดลอกและวางตุ้มน้ำหนักโมเดลจากจุดตรวจ/อุณหภูมิ/ ลงในแบบฝึกล่วงหน้า/

ฝึกอบรมการทดลองลักษณะทั่วไปสำหรับ naip2xbd และ naip2hou

• ทำตามสมุดบันทึก Train_conditional_binary_scratch_naip.ipynb

ส่วนขยายของภาพป่าไม้ Forest-gtm และภาพอาร์กติก

• ฝึกโมเดลการแบ่งส่วนน้ำแข็งในทะเลอาร์กติกด้วย Arctic-Sea-Ice-Seg
• รหัสสำหรับสร้างการแสดงภาพการปลูกป่าไม่สามารถใช้งานได้ในขณะนี้

ดาวน์โหลดและประมวลผลข้อมูลดิบอีกครั้ง

• xbd2xbd: ดำเนินการขั้นตอนในพื้นที่เก็บข้อมูล eie-preprocessing ของเราเพื่อดาวน์โหลดและประมวลผลชุดข้อมูล ขั้นตอนแรกคือการดาวน์โหลดภาพดิบ xBD Flood จาก xview โดยทำตามสคริปต์ที่: eie-preprocessing/scripts/download_xBD_geotiles.sh
• xbd-seg: ข้อมูลป้ายกำกับมือใน xbd2xbd
• {naip2xbd, naip2hou, hou-seg}: ทำตามคำแนะนำในรายงาน
• Arctic: ทำตามคำแนะนำใน full-pipeline/pipeline.sh ในพื้นที่เก็บข้อมูล Arctic-sea-ice
• {forest, Forest-gtm}: ทำตามคำแนะนำในรายงาน

การแสดงภาพ

• เห็นภาพภาพที่สร้างขึ้นเป็นแผนที่ภูมิสารสนเทศขนาดใหญ่ด้วย align_slosh_w_naip.ipynb -> "สร้าง tif ขนาดใหญ่จากภาพที่สร้างขึ้น"

โครงสร้างโฟลเดอร์

 - archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data 
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models

อ้างอิง

 @article{lutjens2024eie,
  author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
  journal={IEEE Transactions on Geoscience and Remote Sensing},
  title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations}, 
  year = {2024},
  doi={10.1109/TGRS.2024.3493763}
}