flex dm

На пути к гибким мультимодальным моделям документов (CVPR2023)

Этот репозиторий является официальной реализацией статьи, упомянутой выше. Более подробную информацию можно найти на странице проекта или в документе.

Настраивать

Требования

Мы проверяем воспроизводимость в этой среде.

• Питон3.7
• КУДА 11.3
• Тензорный поток 2.8

Как установить

Установите зависимости Python. Возможно, это следует сделать внутри venv .

pip install -r requirements.txt

Обратите внимание, что Tensorflow имеет системные требования для конкретной версии для среды графического процессора. Проверьте, установлена ​​ли совместимая среда выполнения CUDA/CuDNN.

Эксперименты Crello

Чтобы попробовать демо на предварительно обученных моделях

• загрузите предварительно обработанные наборы данных для crello/rico и разархивируйте их в ./data .
• скачайте предварительно обученные контрольные точки для crello/rico и разархивируйте их в ./results .

ДЕМО

Некоторые задачи можно протестировать, используя предварительно обученные модели в блокноте.

Обучение

Вы можете обучить свою собственную модель. Сценарий тренера принимает несколько аргументов для управления гиперпараметрами. Список доступных опций см. в src/mfp/mfp/args.py . Если сценарий замедляет работу из-за ошибки нехватки памяти, убедитесь, что другие процессы не занимают память графического процессора, и настройте --batch_size .

bin/train_mfp.sh crello --masking_method random  # Ours-IMP
bin/train_mfp.sh crello --masking_method elem_pos_attr_img_txt  # Ours-EXP
bin/train_mfp.sh crello --masking_method elem_pos_attr_img_txt --weights < WEIGHTS >   # Ours-EXP-FT

Тренер выводит журналы, результаты оценки и контрольные точки в tmp/mfp/jobs/<job_id> . За ходом обучения можно следить через tensorboard .

Оценка

Вы проводите количественную оценку.

bin/eval_mfp.sh --job_dir < JOB_DIR > ( < ADDITIONAL_ARGS > )

См. eval.py для <ADDITIONAL_ARGS> .

эксперименты РИКО

ДЕМО

Некоторые задачи можно протестировать, используя предварительно обученные модели в блокноте.

Обучение

Процесс практически аналогичен описанному выше.

bin/train_mfp.sh rico --masking_method random  # Ours-IMP
bin/train_mfp.sh rico --masking_method elem_pos_attr  # Ours-EXP
bin/train_mfp.sh rico --masking_method elem_pos_attr --weights < WEIGHTS >  # Ours-EXP-FT

Оценка

Процесс аналогичен описанному выше.

Цитирование

Если этот код окажется полезным для вашего исследования, процитируйте нашу статью.

 @inproceedings{inoue2023document,
    title={{Towards Flexible Multi-modal Document Models}},
    author={Naoto Inoue and Kotaro Kikuchi and Edgar Simo-Serra and Mayu Otani and Kota Yamaguchi},
    booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    year={2023},
    pages={14287-14296},
  }