Земная разведывательная машина
Создание физически согласованных визуализаций климатических явлений с помощью моделей глубокого генеративного видения
Это официальный репозиторий Earth Intelligence Engine. Этот код обучает и оценивает модель глубокого генеративного видения (GAN) для синтеза физически согласованных изображений будущих наводнений. Код также обучает модель сегментации наводнений на аэрофотоснимках.
Начиная
Настраивать
git clone --recursive [email protected]:blutjens/earth-eie.git
cd earth-eie
conda env create -f conda.yaml
conda activate eie_vision
pip install -e .
Мы рекомендуем настроить среду с помощью conda. Если вы не знакомы с conda, прочитайте это введение.
Почему git clone --recursive ? Потому что у нас есть как минимум один подмодуль git для размещения моделей. Это означает , что вам нужно будет запустить git submodule update при обновлении пульта.
Набор данных
Скачать с сайта HuggingFace
Наш полный набор данных eie-earth-intelligence-engine доступен на Huggingface. Чтобы загрузить набор данных через git lfs, следуйте инструкциям в наборе данных README.md.
Воспроизвести основные результаты
Модель перевода изображения в изображение Train Flood (im2im)
- Для основной модели перейдите по ссылке в блокноте. Этот блокнот содержит команды терминала для обучения модели im2im потока на xbd2xbd. После обучения модель используется для создания прогнозов по тестовому набору, а модель сегментации наводнений используется для создания масок наводнений на основе сгенерированных изображений.
- Следите за обучением, открыв index.html.
Воссоздайте базовые модели визуализации наводнений.
- VAEGAN можно переобучить по ссылке.
- Базовую линию, сгенерированную вручную, можно создать с помощью [link]("sandbox/Color Baseline/Segment Flood_color.ipynb").
Оценить модель im2im
- Оцените изображение с помощью eval_main(), как это вызывается в Assessment_notebook.ipynb.
Необязательно: Воспроизведите вспомогательные результаты.
Переобучите модель сегментации паводка на xbd-seg и создайте сегментацию до и после паводка.
- Обучите и оцените модель сегментации флуда, воспользовавшись другим нашим репозиторием eie-flood-seg.
- Скопируйте и вставьте веса модели из контрольных точек/temp/ в pretrained/
Тренируйте эксперименты по обобщению для naip2xbd и naip2hou.
- Следуйте записной книжке Train_conditional_binary_scratch_naip.ipynb
Расширения для изображений леса, Forest-GTM и Арктики.
- Обучение модели сегментации арктического морского льда с помощью arctic-sea-ice-seg
- Код для создания визуализаций лесовосстановления в настоящее время недоступен.
Повторно загрузить и обработать необработанные данные.
- xbd2xbd: выполните шаги из нашего репозитория предварительной обработки eie, чтобы загрузить и обработать набор данных. Первым шагом будет загрузка необработанных изображений наводнений xBD из xview, выполнив сценарий по адресу: eie-preprocessing/scripts/download_xBD_geotiles.sh.
- xbd-seg: данные с ручной меткой в xbd2xbd.
- {naip2xbd, naip2hou, hou-seg}: следуйте инструкциям в документе.
- арктика: следуйте инструкциям в файле full-pipeline/pipeline.sh в репозитории arctic-sea-ice.
- {forest, Forest-gtm}: следуйте инструкциям в документе.
Визуализация
- Визуализируйте сгенерированные изображения как большую геопространственную карту с помощью align_slosh_w_naip.ipynb -> «Создать большой TIF из сгенерированных изображений».
Структура папок
- archive: legacy code and documents
- configs: hyperparameters for the tested models
- data: placeholder for raw, interim, and processed data
- docs: documentation, references, and figures
- pretrained: placeholder for model checkpoints
- results: generated imagery
- sandbox: prototyping scripts and notebooks
- scripts: important scripts and notebooks
- src: model source code, forked from existing git repositories
- temp: temporary results while training the models
Ссылка
@article{lutjens2024eie,
author = {Lütjens, Björn and Leshchinskiy, Brandon and Boulais, Océane and Chishtie, Farrukh and Díaz-Rodríguez, Natalia and Masson-Forsythe, Margaux and Mata-Payerro, Ana and Requena-Mesa, Christian and Sankaranarayanan, Aruna and Piña, Aaron and Gal, Yarin and Raïssi, Chedy and Lavin, Alexander and Newman, Dava},
journal={IEEE Transactions on Geoscience and Remote Sensing},
title={Generating Physically-Consistent Satellite Imagery for Climate Visualizations},
year = {2024},
doi={10.1109/TGRS.2024.3493763}
}
