LaBERT

長度可控制的影像字幕 (ECCV2020)

該存儲庫提供了論文長度可控圖像字幕的實現。

安裝

conda create --name labert python=3.7
conda activate labert

conda install pytorch=1.3.1 torchvision cudatoolkit=10.1 -c pytorch
pip install h5py tqdm transformers==2.1.1
pip install git+https://github.com/salaniz/pycocoevalcap

資料和預訓練模型

• 請按照連結準備 MSCOCO 資料。
• 從百度雲盤[代碼：0j9f]或Google Drive下載預訓練的Bert和Faster-RCNN。
  • 它是一個統一的檢查點文件，包含預先訓練的Bert-base和 Faster-RCNN 的fc6層。
• 從百度雲端硬碟[程式碼：fpke]或Google Drive下載我們預先訓練的LaBERT模型。

腳本

火車

python -m torch.distributed.launch 
  --nproc_per_node= $NUM_GPUS 
  --master_port=4396 train.py 
  save_dir $PATH_TO_TRAIN_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU

繼續火車

python -m torch.distributed.launch 
  --nproc_per_node= $NUM_GPUS 
  --master_port=4396 train.py 
  save_dir $PATH_TO_TRAIN_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU 
  model_path $PATH_TO_MODEL

推理

python inference.py 
  model_path $PATH_TO_MODEL 
  save_dir $PATH_TO_TEST_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU

評價

python evaluate.py 
  --gt_caption data/id2captions_test.json 
  --pd_caption $PATH_TO_TEST_OUTPUT /caption_results.json 
  --save_dir $PATH_TO_TEST_OUTPUT 

引用

如果該專案對您的研究有幫助，請考慮在您的出版物中引用我們的論文。

 @article{deng2020length,
  title={Length-Controllable Image Captioning},
  author={Deng, Chaorui and Ding, Ning and Tan, Mingkui and Wu, Qi},
  journal={arXiv preprint arXiv:2007.09580},
  year={2020}
}