DD3412 chain of verification reproduction

DD3412-Chain-of-Verification-Reproduction

Start

Tout d'abord, créez un environnement virtuel Python et installez les exigences:

conda create -n CoVe python=3.10
conda activate CoVe

Pour installer les exigences:

pip install -r requirements.txt

Ensuite, créez un fichier nommé .configuration pour stocker les données confidentielles, telles que les touches API Openai et HuggingFace. Ce fichier doit ressembler:

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

Exécutez les expériences

Exécution avec un script bash

Pour exécuter Cove, utilisez la commande ci-dessous:

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• Les modèles disponibles sont: llama2 , llama2_70b , llama-65b , gpt3
• Les paramètres disponibles sont: joint , two_step , factored
• Les tâches disponibles sont: wikidata , wikidata_category , multispanqa

? Exécution avec l'application

Vous pouvez exécuter les expériences à l'aide de l'application avec les étapes suivantes:

1. Construisez le conteneur de l'application en utilisant le fichier my_apptainer.def fourni:

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. Exécutez les expériences de Cove dans le conteneur de l'application en exécutant l' apptainer_job :

SBATCH apptainer_job.sh

Alternativement, vous pouvez utiliser la commande suivante:

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b