Change Agent Download – Download Change Agent Quellcodes

Change Agent

Anderer Quellcode

Herunterladen

Change-Agent: Auf dem Weg zu einer interaktiven, umfassenden Fernerkundungsänderungsinterpretation und -analyse

Chenyang Liu, Keyan Chen, Haotian Zhang, Zipeng Qi, Zhengxia Zou und Zhenwei Shi*✉

Teilen Sie uns eine mit, wenn Sie an diesem Repo interessiert sind

Offizielle PyTorch-Implementierung des Papiers: „ Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis “ in [IEEE] (Akzeptiert von IEEE TGRS 2024)

Nachricht

2024-06: Der Code ist verfügbar .
2024-03: Das Papier ist verfügbar .

Inhaltsverzeichnis

LEVIR-MCI-Datensatz
Training des MCI-Modells
Konstruktion eines Change-Agents
Zitat

LEVIR-MCI-Datensatz

Laden Sie den LEVIR_MCI-Datensatz herunter: LEVIR-MCI ( Jetzt verfügbar! ).
Dieser Datensatz ist eine Erweiterung unseres zuvor erstellten LEVIR-CC-Datensatzes. Es enthält bitemporale Bilder sowie diverse Änderungserkennungsmasken und beschreibende Sätze. Es bietet eine entscheidende Datengrundlage für die Erforschung des Multitasking-Lernens zur Änderungserkennung und Änderungsbeschriftung.

Training des mehrstufigen Änderungsinterpretationsmodells

Der Überblick über das MCI-Modell:

Vorbereitung

Umgebungsinstallation :

Schritt 1 : Erstellen Sie eine virtuelle Umgebung mit dem Namen Multi_change_env und aktivieren Sie sie.

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

Schritt 2 : Laden Sie das Repository herunter oder klonen Sie es.

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

Schritt 3 : Abhängigkeiten installieren.

 pip install - r requirements . txt

Datensatz herunterladen :

Link: LEVIR-MCI. Die Datenstruktur von LEVIR-MCI ist wie folgt organisiert:

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

Dabei enthält Ordner A Bilder vor der Phase, Ordner B Bilder nach der Phase und die label die Änderungserkennungsmasken.

Extrahieren Sie Textdateien für die Beschreibungen jedes Bildpaares in LEVIR-MCI :
```
 python preprocess_data.py
```
Danach finden Sie einige generierte Dateien in ./data/LEVIR_MCI/ .

Zug

Stellen Sie sicher, dass Sie die oben beschriebene Datenvorbereitung durchgeführt haben. Beginnen Sie dann mit dem Training wie folgt:

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

Auswerten

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

Wir empfehlen, das Modell fünfmal zu trainieren, um eine durchschnittliche Punktzahl zu erhalten.

Schlussfolgerung

Führen Sie die Inferenz wie folgt aus, um zu beginnen:

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

Sie können --checkpoint von Change_Perception.define_args() in predict.py ändern. Dann können Sie natürlich Ihr eigenes Modell verwenden, Sie können aber auch unser vorab trainiertes Modell MCI_model.pth hier herunterladen: [Umarmendes Gesicht]. Danach fügen Sie es in ./models_ckpt/ ein.

Konstruktion eines Change-Agents

Agenteninstallation :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

Agent ausführen :

cd in den Multi_change -Ordner:

 cd . / Change - Agent / Multi_change

(1) Führen Sie die Agent Cli-Demo aus:

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) Führen Sie die Agent-Webdemo aus:

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

Zitat

Wenn Sie dieses Papier für Ihre Forschung nützlich finden, denken Sie bitte darüber nach, Folgendes zu zitieren:

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}