LaBERT

길이 제어 가능한 이미지 캡션(ECCV2020)

이 저장소는 종이 길이 제어 가능 이미지 캡션 구현을 제공합니다.

설치하다

conda create --name labert python=3.7
conda activate labert

conda install pytorch=1.3.1 torchvision cudatoolkit=10.1 -c pytorch
pip install h5py tqdm transformers==2.1.1
pip install git+https://github.com/salaniz/pycocoevalcap

데이터 및 사전 훈련된 모델

• 링크를 따라 MSCOCO 데이터를 준비하세요.
• Baidu Cloud Disk[코드: 0j9f] 또는 Google Drive에서 사전 훈련된 Bert 및 Faster-RCNN을 다운로드하세요.
  • 이는 사전 훈련된 Bert-base 과 Faster-RCNN의 fc6 계층을 포함하는 통합 체크포인트 파일입니다.
• Baidu Cloud Disk[코드: fpke] 또는 Google Drive에서 사전 훈련된 LaBERT 모델을 다운로드하세요.

스크립트

기차

python -m torch.distributed.launch 
  --nproc_per_node= $NUM_GPUS 
  --master_port=4396 train.py 
  save_dir $PATH_TO_TRAIN_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU

계속 훈련

python -m torch.distributed.launch 
  --nproc_per_node= $NUM_GPUS 
  --master_port=4396 train.py 
  save_dir $PATH_TO_TRAIN_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU 
  model_path $PATH_TO_MODEL

추론

python inference.py 
  model_path $PATH_TO_MODEL 
  save_dir $PATH_TO_TEST_OUTPUT 
  samples_per_gpu $NUM_SAMPLES_PER_GPU

평가하다

python evaluate.py 
  --gt_caption data/id2captions_test.json 
  --pd_caption $PATH_TO_TEST_OUTPUT /caption_results.json 
  --save_dir $PATH_TO_TEST_OUTPUT 

인용문

프로젝트가 귀하의 연구에 도움이 된다면 출판물에 우리 논문을 인용하는 것을 고려해 보십시오.

 @article{deng2020length,
  title={Length-Controllable Image Captioning},
  author={Deng, Chaorui and Ding, Ning and Tan, Mingkui and Wu, Qi},
  journal={arXiv preprint arXiv:2007.09580},
  year={2020}
}