Modality Integration Rate

Menguraikan Penyelarasan Lintas Modal dalam Model Bahasa Visi Besar dengan Tingkat Integrasi Modalitas

Repositori ini menyediakan implementasi resmi PyTorch dari makalah berikut:

Menguraikan Penyelarasan Lintas Modal dalam Model Bahasa Visi Besar dengan Tingkat Integrasi Modalitas
Qidong Huang ^1,2 , Xiaoyi Dong ^2,3 , Pan Zhang ² , Yuhang Zang ² , Yuhang Cao ² , Jiaqi Wang ² , Dahua Lin ² , Weiming Zhang ¹ , Nenghai Yu ^1
1 Universitas Sains dan Teknologi Tiongkok, ² Laboratorium AI Shanghai, ³ Universitas Tiongkok Hong Kong

Berita

[2024.10.10] Kami merilis makalahnya di ArXiv dan HuggingFace!

[2024.10.10] Halaman proyek ini telah dibuat!

?‍ Semua

• Lepaskan kode MIR
• Rilis kode pelatihan dan kode evaluasi MoCa
• Lepaskan pos pemeriksaan MoCa

️ TL;DR

1. Untuk MIR

Jika Anda hanya ingin menggunakan MIR sebagai indikator pra-pelatihan model Anda sendiri, tidak diperlukan lingkungan tambahan.

1. Pastikan paket seperti torch , numpy , dan scipy sudah diinstal.
2. Ganti model preprocessing dan generation di mir.py dengan kode model Anda sendiri, kami menampilkan kode LLaVA sebagai referensi.
3. Tentukan argumen input dan jalankan perintah:

 python mir.py --model_path PATH/TO/MODEL --base_llm PATH/TO/LLM --text_data_path PATH/TO/TEXT/DATA --image_data_path PATH/TO/VISION/DATA --eval_num 100 --mode fast

Perhatikan bahwa base_llm tidak diperlukan jika Anda melatih LLM dasar selama pra-pelatihan dan menyertakan ckpt-nya dalam model_path .

Anda juga dapat menyesuaikan argumen dengan gaya inisialisasi model Anda.

2. Untuk MoCa

Jika Anda hanya ingin menggunakan MoCa pada model Anda sendiri, kami menyarankan Anda untuk mengikuti langkah-langkah di bawah ini:

1. Salin kode modul MoCa ke dalam kode pemodelan model Anda sendiri dan pastikan MoCa dilengkapi dengan lapisan LLM dasar dalam fungsi inisialisasi dan penerusan.
2. Pastikan prapemrosesan input dapat menghitung modality_mask , silakan merujuk ke Line183-184, Line269-276 dan Line373-382 di llava/model/llava_arch.py ​​. Selain itu, pastikan bahwa modality_mask berhasil dimasukkan ke dalam model forward pass, misalnya menambahkannya sebagai parameter formal setiap fungsi penerusan, seperti Line70, Line88, Line96, Line106, Line127, Line137, Line145, Line157, Line166, Line174 -175 di llava/model/language_model/llava_llama.py .
3. Periksa beberapa detail untuk mendukung penggunaan use_moca=True , seperti (disarankan untuk mencari use_moca di repo ini untuk menemukan tempat mana yang harus direvisi): 1）Tambahkan ke dalam konfigurasi model (di sini). 2) Tambahkan ke dalam argumen pelatihan (di sini). 3) Buka kuncinya selama pelatihan (di sini). 4) Pastikan penyimpanan pos pemeriksaan benar (di sini1, di sini2, di sini3).
4. Tambahkan --use_moca saat menjalankan perintah pelatihan untuk mengaktifkan penggunaan MoCa.

Pengaturan

Jika Anda ingin menggunakan basis kode kami (dimodifikasi pada LLaVA) untuk reproduksi, Anda disarankan untuk membangun lingkungan baru melalui langkah-langkah di bawah ini. Langkah-langkah berikut hanya tercantum untuk Linux. Jika Anda menggunakan macOS atau Windows, silakan merujuk ke LLaVA.

1. Kloning repositori ini dan navigasikan ke folder Modality-Integration-Rate

 git clone https://github.com/shikiw/Modality-Integration-Rate.git
cd Modality-Integration-Rate

2. Instal Paket

 conda create -n llava python=3.10 -y
conda activate llava
python -m pip install --upgrade pip  # enable PEP 660 support
python -m pip install -e .
python -m pip install -e transformers-4.37.2

3. Instal paket tambahan untuk kasus pelatihan

 pythom -m pip install -e ".[train]"
pythom -m pip install flash-attn --no-build-isolation

Damai

Untuk mereproduksi implementasi MIR pada basis kode ini, Anda dapat mengikuti langkah-langkah berikut:

1. Tentukan text_data_path dan image_data_path untuk perhitungan MIR. Anda juga dapat menentukannya seperti Line55-64 di mir.py , menggunakan gambar val TextVQA dan teks CNN/DM secara default, yaitu,
   1. Unduh TextVQA_0.5.1_val.json dan gambar lalu ekstrak ke PATH/TO/VISION/DATA .
   2. Unduh cerita CNN dan ekstrak ke PATH/TO/TEXT/DATA .
   3. Ubah Line55-64 dengan jalur data teks dan jalur data gambar.
2. Jika Anda hanya melakukan pra-latihan MLP, jalankan perintah ini:

 python mir.py --model_path PATH/TO/MODEL --base_llm PATH/TO/LLM --eval_num 100 --mode fast

3. Jika Anda melakukan pra-latihan bagian mana pun dari ViT atau LLM dasar, jalankan perintah ini:

 python mir.py --model_path PATH/TO/MODEL --eval_num 100 --mode fast

MoCa

Basis kode kami mendukung --use_moca untuk mengaktifkan implementasi MoCa. Lihat scripts/v1_5/pre_sft_moca.sh untuk lebih jelasnya.

Model	Ukuran	Jadwal	Rata-rata	Bintang MM	MME	MMB	MMB-CN	BENIH-IMG	TeksVQA	MM-Dokter Hewan	PAUS	GQA
LLaVA-v1.5	7B	penuh_ft-1e	59.1	30.3	1510.7	64.3	58.3	66.1	58.2	31.1	85.9	62.0
+MoCa	7B	penuh_ft-1e	60.6	36.5	1481.0	66.8	60.0	67.0	58.7	32.2	86.9	62.8

Pos pemeriksaan yang telah dilatih sebelumnya dan disempurnakan telah dilepaskan.

Kereta

Basis kode ini didasarkan pada LLaVA dan ShareGPT4V, tempat kami memperkenalkan beberapa fitur baru dan sekarang mendukung masukan berikut dalam skrip peluncuran:

1. --tune_vision_tower dan --tune_vit_from_layer
2. --tune_language_model dan --tune_llm_utill_layer
3. --tune_entire_model
4. --data_scale
5. --use_moca dan --moca_std

Beberapa kasus untuk referensi:

1. Untuk melakukan pra-pelatihan model dengan skala data yang disesuaikan (misalnya, 200K):

 sh scripts/v1_5/pre_data_scale.sh

2. Untuk melakukan pra-pelatihan model (membuka kunci lapisan ViT 13-24 dan lapisan 1-16 LLM dasar), dan SFT (membuka seluruh LLM secara default):

 sh scripts/v1_5/pre_unlock_vit-12_llm-16_sft.sh

3. Untuk melakukan pra-pelatihan model (membuka kunci lapisan 13-24 ViT dan seluruh LLM dasar), dan SFT (membuka seluruh LLM secara default):

 sh scripts/v1_5/pre_unlock_vit-12_llm-all_sft.sh

4. Untuk menerapkan MoCa dalam pelatihan:

 sh scripts/v1_5/pre_sft_moca.sh

Evaluasi

Kami mengikuti evaluasi asli di LLaVA untuk sebagian besar tolok ukur. Untuk MMStar, kami menggunakan VLMEvalKit.

Lihat Evaluasi.md.

Pengakuan

Repo ini didasarkan pada basis kode LLaVA dan ShareGPT4V. Terima kasih atas karya mereka yang mengesankan!

Kutipan

Jika Anda merasa karya ini berguna untuk penelitian Anda, silakan kutip makalah kami:

 @article{huang2024deciphering,
  title={Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate},
  author={Huang, Qidong and Dong, Xiaoyi and Zhang, Pan and Zang, Yuhang and Cao, Yuhang and Wang, Jiaqi and Lin, Dahua and Zhang, Weiming and Yu, Nenghai},
  journal={arXiv preprint arXiv:2410.07167},
  year={2024}
}