DD3412 chain of verification reproduction

DD3412-Chain-of-Veriation-Reproduction

QuickStart

Во -первых, создайте виртуальную среду Python и установите требования:

conda create -n CoVe python=3.10
conda activate CoVe

Чтобы установить требования:

pip install -r requirements.txt

Затем создайте файл с именем .configuration для хранения конфиденциальных данных, таких как OpenAI и клавиши API HuggingFace. Этот файл должен выглядеть так:

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

Запустите эксперименты

Бег со сценарием Bash

Чтобы выполнить Cove, используйте команду ниже:

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• Доступные модели: llama2 , llama2_70b , llama-65b , gpt3
• Доступные настройки: joint , two_step , factored
• Доступные задачи: wikidata , wikidata_category , multispanqa

? Беги с аптельоном

Вы можете запустить эксперименты, используя аптельер со следующими шагами:

1. Создайте контейнер Apptainer , используя файл предоставленного my_apptainer.def :

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. Запустите эксперименты в бухте в контейнере Apptainger, выполнив apptainer_job :

SBATCH apptainer_job.sh

В качестве альтернативы, вы можете использовать следующую команду:

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b