Change-Agent: สู่การตีความการเปลี่ยนแปลงและการวิเคราะห์การรับรู้ระยะไกลแบบโต้ตอบที่ครอบคลุม

หลิวเฉินหยาง, เข่อหยาน เฉิน, ห่าวเถียน จาง, จือเผิง ฉี, เจิ้งเซี่ย โซว และเจิ้นเหว่ยชิ*✉️

แบ่งปันให้เราหากคุณสนใจ repo นี้

การใช้ PyTorch อย่างเป็นทางการของเอกสาร: " Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis " ใน [IEEE] (ยอมรับโดย IEEE TGRS 2024)

ข่าว

2024-06: รหัส พร้อมใช้งานแล้ว
2024-03: กระดาษ มีจำหน่ายแล้ว

สารบัญ

ชุดข้อมูล LEVIR-MCI
การฝึกอบรมโมเดล MCI
การก่อสร้าง Change-Agent
การอ้างอิง

ชุดข้อมูล LEVIR-MCI

ดาวน์โหลดชุดข้อมูล LEVIR_MCI: LEVIR-MCI ( Available Now! )
ชุดข้อมูลนี้เป็นส่วนขยายของชุดข้อมูล LEVIR-CC ที่เราสร้างไว้ก่อนหน้านี้ ประกอบด้วยรูปภาพสองชั่วขณะ ตลอดจนมาสก์การตรวจจับการเปลี่ยนแปลงที่หลากหลายและประโยคอธิบาย เป็นรากฐานข้อมูลที่สำคัญสำหรับการสำรวจการเรียนรู้แบบมัลติทาสก์เพื่อการตรวจจับการเปลี่ยนแปลงและคำบรรยายการเปลี่ยนแปลง

การฝึกอบรมแบบจำลองการตีความการเปลี่ยนแปลงหลายระดับ

ภาพรวมของโมเดล MCI:

การตระเตรียม

การติดตั้งสภาพแวดล้อม :
ขั้นตอนที่ 1 : สร้างสภาพแวดล้อมเสมือนชื่อ Multi_change_env และเปิดใช้งาน
```
 conda create - n Multi_change_env python = 3.9
conda activate Multi_change_env
```
ขั้นตอนที่ 2 : ดาวน์โหลดหรือโคลนพื้นที่เก็บข้อมูล
```
 git clone https : // github . com / Chen - Yang - Liu / Change - Agent . git
cd . / Change - Agent / Multi_change
```
ขั้นตอนที่ 3 : ติดตั้งการพึ่งพา
```
 pip install - r requirements . txt
```
ดาวน์โหลดชุดข้อมูล :
ลิงค์: LEVIR-MCI โครงสร้างข้อมูลของ LEVIR-MCI มีการจัดดังนี้:
```
 ├─/DATA_PATH_ROOT/Levir-MCI-dataset/
        ├─LevirCCcaptions.json
        ├─images
             ├─train
             │  ├─A
             │  ├─B
             │  ├─label
             ├─val
             │  ├─A
             │  ├─B
             │  ├─label
             ├─test
             │  ├─A
             │  ├─B
             │  ├─label
```
โดยที่โฟลเดอร์ A มีรูปภาพก่อนเฟส โฟลเดอร์ B มีรูปภาพหลังเฟส และ label โฟลเดอร์มีมาสก์การตรวจจับการเปลี่ยนแปลง
แยกไฟล์ข้อความสำหรับคำอธิบายของคู่รูปภาพแต่ละคู่ใน LEVIR-MCI :
```
 python preprocess_data.py
```
หลังจากนั้น คุณจะพบไฟล์บางไฟล์ที่สร้างขึ้นใน ./data/LEVIR_MCI/ /

รถไฟ

ตรวจสอบให้แน่ใจว่าคุณได้เตรียมข้อมูลข้างต้นแล้ว จากนั้นให้เริ่มการฝึกดังนี้

 python train . py - - train_goal 2 - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - savepath . / models_ckpt /

ประเมิน

 python test . py - - data_folder / DATA_PATH_ROOT / Levir - MCI - dataset / images - - checkpoint { checkpoint_PATH }

เราแนะนำให้ฝึกโมเดล 5 ครั้งเพื่อให้ได้คะแนนเฉลี่ย

การอนุมาน

เรียกใช้การอนุมานเพื่อเริ่มต้นดังต่อไปนี้:

 python predict . py - - imgA_path { imgA_path } - - imgB_path { imgA_path } - - mask_save_path . / CDmask . png

คุณสามารถแก้ไข --checkpoint ของ Change_Perception.define_args() ใน predict.py จากนั้นคุณสามารถใช้โมเดลของคุณเองได้ และแน่นอน คุณยังสามารถดาวน์โหลดโมเดลที่ฝึกไว้แล้วของเรา MCI_model.pth ได้ที่นี่: [กอดหน้า] หลังจากนั้นให้นำไปใส่ใน ./models_ckpt/ /

การก่อสร้าง Change-Agent

การติดตั้งตัวแทน :

 cd . / Change - Agent / lagent - main
pip install - e .[ all ]

เรียกใช้ตัวแทน :
cd ลงในโฟลเดอร์ Multi_change :
```
 cd . / Change - Agent / Multi_change
```
(1) เรียกใช้การสาธิต Agent Cli:
```
 # You need to install streamlit first
# pip install streamlit
python try_chat.py
```
(2) เรียกใช้การสาธิตเว็บตัวแทน:
```
 # You need to install streamlit first
# pip install streamlit
streamlit run react_web_demo.py
```

การอ้างอิง

หากคุณพบว่าบทความนี้มีประโยชน์ในการวิจัยของคุณ โปรดพิจารณาการอ้างอิง:

 @ARTICLE{Liu_Change_Agent,
  author={Liu, Chenyang and Chen, Keyan and Zhang, Haotian and Qi, Zipeng and Zou, Zhengxia and Shi, Zhenwei},
  journal={IEEE Transactions on Geoscience and Remote Sensing}, 
  title={Change-Agent: Toward Interactive Comprehensive Remote Sensing Change Interpretation and Analysis}, 
  year={2024},
  volume={},
  number={},
  pages={1-1},
  keywords={Remote sensing;Feature extraction;Semantics;Transformers;Roads;Earth;Task analysis;Interactive Change-Agent;change captioning;change detection;multi-task learning;large language model},
  doi={10.1109/TGRS.2024.3425815}}