PuMer
1.0.0
Этот репозиторий является официальной реализацией документа «PuMer: сокращение и слияние токенов для эффективных языковых моделей видения», документ
установите miniforge (так же, как conda, более портативный) создайте среду Python: conda env create -f env.yaml , активируйте ее: conda activate pumer клонируйте этот репозиторий: [email protected]:csarron/pumer.git
тест cuda: python -c "import torch;print(torch.cuda.is_available())"
получить окружение факела: python -m torch.utils.collect_env
установить: pip install -e .
для целей локальной разработки: pip install -e ".[dev]"
Файл env-frozen.yaml создается с помощью conda env export | grep -v "^prefix: | pumer==" > env-frozen.yaml
см. примечания/data.md для предварительной обработки данных.
см. cli/prep/convert_ckpt.py для преобразования исходных предварительно обученных контрольных точек METER и ViLT.
ниже представлен макет файла после подготовки:
# tree -h data
├── [4.0K] ckpt
│ └── [4.0K] converted
│ ├── [4.0K] meter_pretrain_384
│ │ ├── [ 674] config.json
│ │ └── [1.3G] pytorch_model.bin
│ ├── [4.0K] meter_pretrain_irtr_384
│ │ ├── [ 729] config.json
│ │ └── [1.2G] pytorch_model.bin
│ ├── [4.0K] meter_pretrain_nlvr2_288
│ │ ├── [ 674] config.json
│ │ └── [1.3G] pytorch_model.bin
│ ├── [4.0K] vilt_pretrain
│ │ ├── [ 619] config.json
│ │ └── [518M] pytorch_model.bin
│ ├── [4.0K] vilt_pretrain_irtr
│ │ ├── [ 718] config.json
│ │ └── [426M] pytorch_model.bin
│ └── [4.0K] vilt_pretrain_nlvr2
│ ├── [ 619] config.json
│ └── [518M] pytorch_model.bin
├── [4.0K] datasets
│ ├── [4.0K] irtr
│ │ ├── [390K] flickr30k-test.jsonl
│ │ ├── [ 11M] flickr30k-train.jsonl
│ │ ├── [397K] flickr30k-val.jsonl
│ │ ├── [ 10M] mscoco-restval.jsonl
│ │ ├── [1.7M] mscoco-test.jsonl
│ │ ├── [ 28M] mscoco-train.jsonl
│ │ └── [1.7M] mscoco-val.jsonl
│ ├── [4.0K] nlvr2
│ │ ├── [3.6M] dev.json
│ │ ├── [3.6M] test1.json
│ │ └── [ 39M] train.json
│ ├── [4.0K] snli-ve
│ │ ├── [ 16M] snli_ve_dev.jsonl
│ │ ├── [ 16M] snli_ve_test.jsonl
│ │ └── [464M] snli_ve_train.jsonl
│ └── [4.0K] vqa2
│ ├── [ 57K] vqa2_ans2label.json
│ ├── [ 39K] vqa2_label2ans.json
│ ├── [161K] vqa2-small.jsonl
│ ├── [ 45M] vqa2-test2015.jsonl
│ ├── [ 71M] vqa2-train2014.jsonl
│ └── [ 34M] vqa2-val2014.jsonl
└── [4.0K] lmdb
├── [ 13G] coco-test2015.lmdb
├── [ 19G] coco-trainval2014.lmdb
├── [4.2G] flickr30k_images.lmdb
├── [837M] nlvr2-dev.lmdb
├── [837M] nlvr2-test1.lmdb
└── [ 11G] nlvr2-train.lmdbсм. примечания/cmd.md для примера использования;
проверка https://huggingface.co/csarron для контрольных точек точной настройки: ( -ft — исходная настроенная модель, p0.x-r0.x-t0.x-xxx — наша модель PuMer)
vilt-vqa2-ft
vilt-vqa2-p0.1-r0.3-t0.2-258
vilt-ve-ft
vilt-ve-p0.1r0.3t0.2-2468
vilt-nlvr2-ft
vilt-nlvr2-p0.1r0.3t0.2-258
meter-vqa2-ft
meter-vqa2-p0.2r0.2t0.2-0246
meter-ve-ft
meter-ve-p0.3r0.5t0.2-0246
meter-nlvr2-ft
meter-nlvr2-p0.3r0.5t0.2-246см. примечания/profile.md
установите TRANSFORMERS_OFFLINE=1 после первого использования, иначе иногда он сообщит об ошибке 504 из-за постоянного поиска в Интернете.
игнорировать код в src/pumer/model/pruner.py (устаревший и неиспользуемый), требуется очистка
текущая кодовая база содержит много беспорядка и экспериментального кода, не связанного с реализацией PuMer, пожалуйста, игнорируйте это.
@inproceedings{cao-etal-2023-pumer, title = "{P}u{M}er: сокращение и объединение токенов для эффективных языковых моделей видения", автор = "Цао, Цинцин и Паранджапе, Бхаргави и Хаджиширзи, Ханнане", booktitle = "Материалы 61-го ежегодного собрания Ассоциации компьютерной лингвистики (том 1: Длинные статьи)", месяц = июль, год = "2023", адрес = "Торонто, Канада", издатель = "Ассоциация компьютерной лингвистики", url = "https://aclanthology.org/2023.acl-long .721", страницы = "12890--12903",
} 
