Change-Agent：邁向互動式綜合遙感變化解釋與分析

劉晨陽、陳克彥、張浩田、齊鵬飛、鄒正霞、史振偉*✉

如果您對此存儲庫感興趣，請與我們分享

論文的官方 PyTorch 實作：《 Change-Agent: Toward Interactive Innovative Remote Sensing Change Interpretation and Analysis 》 in [IEEE] (Accepted by IEEE TGRS 2024)

訊息

2024-06：代碼可用。
2024-03：論文可用。

LEVIR-MCI 資料集

下載 LEVIR_MCI 資料集：LEVIR-MCI（現已推出！ ）。
該資料集是我們先前建立的 LEVIR-CC 資料集的擴展。它包含雙時態影像以及各種變化檢測掩模和描述性句子。它為探索變化檢測和變化字幕的多任務學習提供了重要的數據基礎。

多層次變化解釋模型的訓練

MCI模型概述：

準備

環境安裝：

步驟1 ：建立一個名為Multi_change_env的虛擬環境並啟動它。

 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env

第 2 步：下載或複製儲存庫。

 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change

步驟 3 ：安裝依賴項。

 pip install - r requirements . txt

下載資料集：

連結：LEVIR-MCI。 LEVIR-MCI的資料結構組織如下：

 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label

其中資料夾A包含前期影像，資料夾B包含後期影像，資料夾label包含更改偵測蒙版。

提取 LEVIR-MCI 中每個圖像對的描述的文字檔案：
```
 python preprocess_data.py
```
之後，您可以在./data/LEVIR_MCI/中找到一些產生的檔案。

火車

確保您執行了上述資料準備。然後，開始訓練如下：

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

評價

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

我們建議訓練模型 5 次以獲得平均分數。

推理

運行推理開始如下：

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

您可以在predict.py中修改Change_Perception.define_args()的--checkpoint 。然後你可以使用你自己的模型，當然，你也可以在這裡下載我們的預訓練模型MCI_model.pth ：[擁抱臉]。之後，將其放入./models_ckpt/中。

變革推動者的構建

代理安裝：

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

運行代理：

cd 進入Multi_change資料夾：

 cd . / Change - Agent / Multi_change

(1) 運行Agent CLI演示：

 # You need to install streamlit first
# pip install streamlit
python try_chat.py

(2) 執行代理網頁演示：

 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py

引文

如果您發現本文對您的研究有用，請考慮引用：

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}