flex dm

Menuju Model Dokumen Multimodal yang Fleksibel (CVPR2023)

Repositori ini merupakan implementasi resmi dari makalah berjudul di atas. Silakan merujuk ke halaman atau makalah proyek untuk lebih jelasnya.

Pengaturan

Persyaratan

Kami memeriksa reproduktifitas dalam lingkungan ini.

• Python3.7
• CUDA 11.3
• Aliran Tensor 2.8

Bagaimana cara menginstal

Instal dependensi python. Mungkin ini harus dilakukan di dalam venv .

pip install -r requirements.txt

Perhatikan bahwa Tensorflow memiliki persyaratan sistem khusus versi untuk lingkungan GPU. Periksa apakah runtime CUDA/CuDNN yang kompatibel telah diinstal.

Eksperimen Crello

Untuk mencoba demo pada model terlatih

• unduh kumpulan data yang telah diproses sebelumnya untuk crello / rico dan unzip di bawah ./data .
• unduh pos pemeriksaan terlatih untuk crello / rico dan unzip di bawah ./results .

DEMO

Anda dapat menguji beberapa tugas menggunakan model terlatih di buku catatan.

Pelatihan

Anda dapat melatih model Anda sendiri. Skrip pelatih memerlukan beberapa argumen untuk mengontrol hyperparameter. Lihat src/mfp/mfp/args.py untuk daftar opsi yang tersedia. Jika skrip memperlambat kesalahan kehabisan memori, pastikan proses lain tidak menggunakan memori GPU dan sesuaikan --batch_size .

bin/train_mfp.sh crello --masking_method random  # Ours-IMP
bin/train_mfp.sh crello --masking_method elem_pos_attr_img_txt  # Ours-EXP
bin/train_mfp.sh crello --masking_method elem_pos_attr_img_txt --weights < WEIGHTS >   # Ours-EXP-FT

Pelatih mengeluarkan log, hasil evaluasi, dan pos pemeriksaan ke tmp/mfp/jobs/<job_id> . Kemajuan pelatihan dapat dipantau melalui tensorboard .

Evaluasi

Anda melakukan evaluasi kuantitatif.

bin/eval_mfp.sh --job_dir < JOB_DIR > ( < ADDITIONAL_ARGS > )

Lihat eval.py untuk <ADDITIONAL_ARGS> .

Eksperimen RICO

DEMO

Anda dapat menguji beberapa tugas menggunakan model terlatih di buku catatan.

Pelatihan

Prosesnya hampir sama seperti di atas.

bin/train_mfp.sh rico --masking_method random  # Ours-IMP
bin/train_mfp.sh rico --masking_method elem_pos_attr  # Ours-EXP
bin/train_mfp.sh rico --masking_method elem_pos_attr --weights < WEIGHTS >  # Ours-EXP-FT

Evaluasi

Prosesnya serupa seperti di atas.

Kutipan

Jika Anda merasa kode ini berguna untuk penelitian Anda, silakan kutip makalah kami.

 @inproceedings{inoue2023document,
    title={{Towards Flexible Multi-modal Document Models}},
    author={Naoto Inoue and Kotaro Kikuchi and Edgar Simo-Serra and Mayu Otani and Kota Yamaguchi},
    booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    year={2023},
    pages={14287-14296},
  }