Agente de cambio: hacia la interpretación y el análisis interactivos e integrales del cambio mediante teledetección

Chenyang Liu, Keyan Chen, Haotian Zhang, Zipeng Qi, Zhengxia Zou y Zhenwei Shi*✉

Compártenos un si estás interesado en este repositorio.

Implementación oficial de PyTorch del documento: " Agente de cambio: hacia la interpretación y el análisis del cambio de percepción remota integral interactiva " en [IEEE] (Aceptado por IEEE TGRS 2024)

Noticias

2024-06: El código está disponible .
2024-03: El artículo está disponible .

Tabla de contenido

Conjunto de datos LEVIR-MCI
Entrenamiento del modelo MCI.
Construcción de agente de cambio
Citación

Conjunto de datos LEVIR-MCI

Descargue el conjunto de datos LEVIR_MCI: LEVIR-MCI ( ¡disponible ahora! ).
Este conjunto de datos es una extensión de nuestro conjunto de datos LEVIR-CC previamente establecido. Contiene imágenes bitemporales, así como diversas máscaras de detección de cambios y oraciones descriptivas. Proporciona una base de datos crucial para explorar el aprendizaje multitarea para la detección y subtítulos de cambios.

Entrenamiento del modelo de interpretación de cambios multinivel.

La descripción general del modelo MCI:

Preparación

Instalación ambiental :

Paso 1 : cree un entorno virtual llamado Multi_change_env y actívelo.

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

Paso 2 : descarga o clona el repositorio.

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

Paso 3 : instalar dependencias.

 pip install - r requirements . txt

Descargar conjunto de datos :

Enlace: LEVIR-MCI. La estructura de datos de LEVIR-MCI está organizada de la siguiente manera:

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

donde la carpeta A contiene imágenes previas a la fase, la carpeta B contiene imágenes posteriores a la fase y label de la carpeta contiene las máscaras de detección de cambios.

Extraiga archivos de texto para las descripciones de cada par de imágenes en LEVIR-MCI :
```
 python preprocess_data.py
```
Después de eso, puede encontrar algunos archivos generados en ./data/LEVIR_MCI/ .

Tren

Asegúrese de haber realizado la preparación de datos anterior. Luego, comienza a entrenar de la siguiente manera:

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

Evaluar

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

Recomendamos entrenar el modelo 5 veces para obtener una puntuación promedio.

Inferencia

Ejecute la inferencia para comenzar de la siguiente manera:

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

Puede modificar --checkpoint de Change_Perception.define_args() en predict.py . Luego puedes usar tu propio modelo, por supuesto, también puedes descargar nuestro modelo previamente entrenado MCI_model.pth aquí: [Cara abrazada]. Después de eso, colóquelo en ./models_ckpt/ .

Construcción de agente de cambio

Instalación del agente :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

Ejecutar agente :

cd en la carpeta Multi_change :

 cd . / Change - Agent / Multi_change

(1) Ejecute la demostración de Agent CLI:

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) Ejecute la demostración web del agente:

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

Citación

Si encuentra útil este artículo en su investigación, considere citar:

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}