Modality Integration Rate

การถอดรหัสการจัดตำแหน่งข้ามโมดัลในโมเดลภาษาวิชั่นขนาดใหญ่พร้อมอัตราการบูรณาการโมดาลลิตี

พื้นที่เก็บข้อมูลนี้จัดเตรียมการใช้งาน PyTorch อย่างเป็นทางการของเอกสารต่อไปนี้:

การถอดรหัสการจัดตำแหน่งข้ามโมดัลในโมเดลภาษาวิชั่นขนาดใหญ่พร้อมอัตราการบูรณาการโมดาลลิตี
ฉีตง ฮวง ^1,2 , เซียวอี้ตง ^2,3 , ปาน จาง ² , หยูหัง จาง ² , หยูหัง เชา ² , เจียฉี หวาง ² , ต้าหัว หลิน ² , เว่ยหมิง จาง ¹ , เหนิงไห่ หยู ^1
1 มหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีแห่งประเทศจีน, ² ห้องปฏิบัติการ AI เซี่ยงไฮ้, ³ มหาวิทยาลัยจีนแห่งฮ่องกง

ข่าว

[2024.10.10] เราเผยแพร่บทความที่ ArXiv และ HuggingFace!

[2024.10.10] หน้าโครงการนี้ถูกสร้างขึ้นแล้ว!

?‍ สิ่งที่ต้องทำ

• ปล่อยรหัส MIR
• เผยแพร่รหัสการฝึกอบรมและรหัสการประเมินผลของ MoCa
• ปล่อยด่านตรวจ MoCa

️ TL;DR

1. สำหรับมีร์

หากคุณเพียงต้องการใช้ MIR เป็นตัวบ่งชี้ก่อนการฝึกอบรมสำหรับโมเดลของคุณเอง ก็ไม่จำเป็นต้องมีสภาพแวดล้อมเพิ่มเติม

1. ตรวจสอบให้แน่ใจว่าได้ติดตั้งแพ็คเกจ เช่น torch , numpy และ scipy แล้ว
2. แทนที่การประมวลผลล่วงหน้าของโมเดลและการสร้างใน mir.py ด้วยโค้ดของโมเดลของคุณเอง เราจะแสดงโค้ดของ LLaVA เป็นข้อมูลอ้างอิง
3. ระบุอินพุต args และรันคำสั่ง:

 python mir.py --model_path PATH/TO/MODEL --base_llm PATH/TO/LLM --text_data_path PATH/TO/TEXT/DATA --image_data_path PATH/TO/VISION/DATA --eval_num 100 --mode fast

โปรดทราบว่าไม่จำเป็นต้องใช้ base_llm หากคุณฝึก LLM ฐานระหว่างการฝึกล่วงหน้าและรวม ckpt ไว้ใน model_path

คุณยังสามารถปรับ args ให้เป็นสไตล์การเริ่มต้นของโมเดลของคุณได้

2. สำหรับโมก้า

หากคุณต้องการใช้ MoCa กับโมเดลของคุณเอง เราขอแนะนำให้คุณทำตามขั้นตอนด้านล่าง:

1. คัดลอกโค้ดของโมดูล MoCa ลงในโค้ดการสร้างแบบจำลองของโมเดลของคุณเอง และตรวจสอบให้แน่ใจว่า MoCa ได้รับการติดตั้งโดยเลเยอร์ LLM พื้นฐานทั้งในฟังก์ชันการเริ่มต้นและการส่งต่อ
2. ตรวจสอบให้แน่ใจว่าการประมวลผลอินพุตล่วงหน้าสามารถคำนวณ modality_mask ได้ โปรดดูที่ Line183-184, Line269-276 และ Line373-382 ใน llava/model/llava_arch.py นอกจากนี้ ตรวจสอบให้แน่ใจว่า modality_mask สามารถส่งไปยัง Model Forward Pass ได้สำเร็จ เช่น เพิ่มเป็นพารามิเตอร์อย่างเป็นทางการของแต่ละฟังก์ชัน Forward เช่น Line70, Line88, Line96, Line106, Line127, Line137, Line145, Line157, Line166, Line174 -175 ใน llava/model/language_model/llava_llama.py
3. ตรวจสอบรายละเอียดบางอย่างเพื่อรองรับการใช้งาน use_moca=True เช่น (แนะนำให้ค้นหา use_moca ใน repo นี้เพื่อค้นหาสถานที่ที่ควรแก้ไข): 1） เพิ่มลงในการกำหนดค่าโมเดล (ที่นี่) 2) เพิ่มลงในข้อโต้แย้งการฝึกอบรม (ที่นี่) 3) ปลดล็อคระหว่างการฝึก (ที่นี่) 4) ตรวจสอบให้แน่ใจว่าการบันทึกจุดตรวจถูกต้อง (ที่นี่1, ที่นี่2, ที่นี่3)
4. เพิ่ม --use_moca เมื่อรันคำสั่งการฝึกอบรมเพื่อเปิดใช้งานการใช้งาน MoCa

ตั้งค่า

หากคุณต้องการใช้โค้ดเบสของเรา (แก้ไขบน LLaVA) เพื่อทำซ้ำ ขอแนะนำให้คุณสร้างสภาพแวดล้อมใหม่ตามขั้นตอนด้านล่างนี้ ขั้นตอนต่อไปนี้เป็นเพียงรายการสำหรับ Linux หากคุณใช้ macOS หรือ Windows โปรดดูที่ LLaVA

1. โคลนพื้นที่เก็บข้อมูลนี้และไปที่โฟลเดอร์ Modality-Integration-Rate

 git clone https://github.com/shikiw/Modality-Integration-Rate.git
cd Modality-Integration-Rate

2. ติดตั้งแพ็คเกจ

 conda create -n llava python=3.10 -y
conda activate llava
python -m pip install --upgrade pip  # enable PEP 660 support
python -m pip install -e .
python -m pip install -e transformers-4.37.2

3. ติดตั้งแพ็คเกจเพิ่มเติมสำหรับกรณีการฝึกอบรม

 pythom -m pip install -e ".[train]"
pythom -m pip install flash-attn --no-build-isolation

มีร์

เมื่อต้องการทำซ้ำการใช้งาน MIR บน codebase นี้ คุณสามารถทำตามขั้นตอนเหล่านี้:

1. ระบุ text_data_path และ image_data_path สำหรับการคำนวณ MIR คุณยังสามารถระบุได้เช่น Line55-64 ใน mir.py โดยใช้รูปภาพ val TextVQA และข้อความ CNN/DM ตามค่าเริ่มต้น เช่น
   1. ดาวน์โหลด TextVQA_0.5.1_val.json และรูปภาพ และแตกไฟล์ไปยัง PATH/TO/VISION/DATA
   2. ดาวน์โหลดเรื่องราวของ CNN และแยกไปที่ PATH/TO/TEXT/DATA
   3. แก้ไข Line55-64 ด้วยเส้นทางข้อมูลข้อความและเส้นทางข้อมูลรูปภาพ
2. หากคุณฝึก MLP ล่วงหน้าเท่านั้น ให้รันคำสั่งนี้:

 python mir.py --model_path PATH/TO/MODEL --base_llm PATH/TO/LLM --eval_num 100 --mode fast

3. หากคุณฝึกส่วนใดส่วนหนึ่งของ ViT หรือ LLM พื้นฐานไว้ล่วงหน้า ให้รันคำสั่งนี้:

 python mir.py --model_path PATH/TO/MODEL --eval_num 100 --mode fast

โมก้า

ฐานโค้ดของเรารองรับ --use_moca เพื่อเปิดใช้งานการใช้งาน MoCa ตรวจสอบ scripts/v1_5/pre_sft_moca.sh เพื่อดูรายละเอียดเพิ่มเติม

แบบอย่าง	ขนาด	กำหนดการ	เฉลี่ย	เอ็มเอ็มสตาร์	เอ็มเอ็มอี	มม	MMB-CN	เมล็ด-IMG	ข้อความVQA	MM-สัตวแพทย์	สมเด็จพระสันตะปาปา	GQA
LLaVA-v1.5	7B	full_ft-1e	59.1	30.3	1510.7	64.3	58.3	66.1	58.2	31.1	85.9	62.0
+โมก้า	7B	full_ft-1e	60.6	36.5	1481.0	66.8	60.0	67.0	58.7	32.2	86.9	62.8

จุดตรวจที่ได้รับการฝึกฝนและปรับแต่งอย่างดีจะถูกปล่อยออก

รถไฟ

โค้ดเบสนี้อิงจาก LLaVA และ ShareGPT4V ซึ่งเราเปิดตัวฟีเจอร์ใหม่ๆ และตอนนี้รองรับอินพุตต่อไปนี้ในสคริปต์เรียกใช้งาน:

1. --tune_vision_tower และ --tune_vit_from_layer
2. --tune_language_model และ --tune_llm_utill_layer
3. --tune_entire_model
4. --data_scale
5. --use_moca และ --moca_std

บางกรณีสำหรับการอ้างอิง:

1. หากต้องการฝึกโมเดลล่วงหน้าด้วยมาตราส่วนข้อมูลที่กำหนดเอง (เช่น 200K):

 sh scripts/v1_5/pre_data_scale.sh

2. หากต้องการฝึกโมเดลล่วงหน้า (ปลดล็อก ViT เลเยอร์ 13-24 และ LLM พื้นฐาน 1-16 เลเยอร์) และ SFT (ปลดล็อก LLM ทั้งหมดตามค่าเริ่มต้น):

 sh scripts/v1_5/pre_unlock_vit-12_llm-16_sft.sh

3. หากต้องการฝึกโมเดลล่วงหน้า (ปลดล็อกเลเยอร์ 13-24 ของ ViT และ LLM ฐานทั้งหมด) และ SFT (ปลดล็อก LLM ทั้งหมดตามค่าเริ่มต้น):

 sh scripts/v1_5/pre_unlock_vit-12_llm-all_sft.sh

4. วิธีใช้ MoCa ในการฝึกอบรม:

 sh scripts/v1_5/pre_sft_moca.sh

การประเมิน

เราปฏิบัติตามการประเมินดั้งเดิมใน LLaVA สำหรับการวัดประสิทธิภาพส่วนใหญ่ สำหรับ MMStar เราใช้ VLMEvalKit

ดูการประเมินผล.md

รับทราบ

การซื้อคืนนี้อิงตามโค้ดเบสของ LLaVA และ ShareGPT4V ขอบคุณสำหรับผลงานที่น่าประทับใจของพวกเขา!

การอ้างอิง

หากคุณพบว่างานนี้มีประโยชน์สำหรับการวิจัยของคุณ โปรดอ้างอิงรายงานของเรา:

 @article{huang2024deciphering,
  title={Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate},
  author={Huang, Qidong and Dong, Xiaoyi and Zhang, Pan and Zang, Yuhang and Cao, Yuhang and Wang, Jiaqi and Lin, Dahua and Zhang, Weiming and Yu, Nenghai},
  journal={arXiv preprint arXiv:2410.07167},
  year={2024}
}