Change-Agent: 대화형 종합 원격탐사 변화 해석 및 분석을 향하여

Chenyang Liu, Keyan Chen, Haotian Zhang, Zipeng Qi, Zhengxia Zou 및 Zhenwei Shi*✉

이 저장소에 관심이 있으시면 공유해주세요.

논문의 공식 PyTorch 구현: [IEEE]의 " Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis " (IEEE TGRS 2024에서 승인)

소식

2024-06: 코드를 사용할 수 있습니다.
2024-03: 논문을 이용할 수 있습니다.

LEVIR-MCI 데이터세트

LEVIR_MCI 데이터세트: LEVIR-MCI( 지금 사용 가능! )를 다운로드하세요.
이 데이터 세트는 이전에 구축된 LEVIR-CC 데이터 세트의 확장입니다. Bi-temporal 이미지는 물론 다양한 변화 감지 마스크와 설명문도 포함되어 있습니다. 이는 변경 감지 및 변경 캡션 작성을 위한 다중 작업 학습을 탐색하기 위한 중요한 데이터 기반을 제공합니다.

다단계 변화 해석 모델 훈련

MCI 모델 개요:

준비

환경 설치 :

1단계 : Multi_change_env 라는 가상 환경을 생성하고 활성화합니다.

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

2단계 : 저장소를 다운로드하거나 복제합니다.

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

3단계 : 종속성을 설치합니다.

 pip install - r requirements . txt

데이터세트 다운로드 :

링크: LEVIR-MCI. LEVIR-MCI의 데이터 구조는 다음과 같이 구성됩니다.

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

여기서 폴더 A 에는 사전 단계 이미지가 포함되고, 폴더 B 에는 사후 단계 이미지가 포함되며, 폴더 label 변경 감지 마스크가 포함됩니다.

LEVIR-MCI의 각 이미지 쌍에 대한 설명을 위한 텍스트 파일을 추출합니다 .
```
 python preprocess_data.py
```
그런 다음 ./data/LEVIR_MCI/ 에서 생성된 일부 파일을 찾을 수 있습니다.

기차

위의 데이터 준비를 수행했는지 확인하십시오. 그런 다음 다음과 같이 훈련을 시작합니다.

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

평가하다

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

평균 점수를 얻으려면 모델을 5번 훈련하는 것이 좋습니다.

추론

추론을 실행하여 시작하려면 다음과 같이 하세요.

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

predict.py 에서 Change_Perception.define_args() 의 --checkpoint 수정할 수 있습니다. 그런 다음 자체 모델을 사용할 수 있습니다. 물론 사전 훈련된 모델 MCI_model.pth 여기에서 다운로드할 수도 있습니다: [Hugging facial]. 그런 다음 ./models_ckpt/ 에 넣으십시오.

변화에이전트 구축

에이전트 설치 :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

에이전트 실행 :

Multi_change 폴더에 CD를 넣으세요.

 cd . / Change - Agent / Multi_change

(1) Agent Cli 데모 실행:

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) 에이전트 웹 데모 실행:

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

소환

이 논문이 귀하의 연구에 유용하다고 생각되면 다음을 인용해 보십시오.

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}