LaBERT

長さ制御可能な画像キャプション (ECCV2020)

このリポジトリは、紙の長さ制御可能な画像キャプションの実装を提供します。

インストール

conda create --name labert python=3.7
conda activate labert

conda install pytorch=1.3.1 torchvision cudatoolkit=10.1 -c pytorch
pip install h5py tqdm transformers==2.1.1
pip install git+https://github.com/salaniz/pycocoevalcap

データと事前トレーニングされたモデル

• リンクに従って MSCOCO データを準備します。
• Baidu Cloud Disk [コード: 0j9f] または Google Drive から事前トレーニングされた Bert と Faster-RCNN をダウンロードします。
  • これは、事前トレーニングされたBert-baseと Faster-RCNN のfc6レイヤーを含む統合チェックポイント ファイルです。
• Baidu Cloud Disk [コード: fpke] または Google Drive から事前トレーニング済みの LaBERT モデルをダウンロードします。

スクリプト

電車

python -m torch.distributed.launch 
  --nproc_per_node= $NUM_GPUS 
  --master_port=4396 train.py 
  save_dir $PATH_TO_TRAIN_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU

電車を続けます

python -m torch.distributed.launch 
  --nproc_per_node= $NUM_GPUS 
  --master_port=4396 train.py 
  save_dir $PATH_TO_TRAIN_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU 
  model_path $PATH_TO_MODEL

推論

python inference.py 
  model_path $PATH_TO_MODEL 
  save_dir $PATH_TO_TEST_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU

評価する

python evaluate.py 
  --gt_caption data/id2captions_test.json 
  --pd_caption $PATH_TO_TEST_OUTPUT /caption_results.json 
  --save_dir $PATH_TO_TEST_OUTPUT 

引用

このプロジェクトがあなたの研究に役立つ場合は、出版物で私たちの論文を引用することを検討してください。

 @article{deng2020length,
  title={Length-Controllable Image Captioning},
  author={Deng, Chaorui and Ding, Ning and Tan, Mingkui and Wu, Qi},
  journal={arXiv preprint arXiv:2007.09580},
  year={2020}
}