DD3412 chain of verification reproduction

DD3412 Cadena de verificación-reproducción

Inicio rápido

Primero, cree un entorno virtual de Python e instale los requisitos:

conda create -n CoVe python=3.10
conda activate CoVe

Para instalar requisitos:

pip install -r requirements.txt

Luego, cree un archivo llamado .configuration para almacenar los datos confidenciales, como las teclas API de OpenAI y Huggingface. Este archivo debería verse como:

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

Ejecutar los experimentos

Ejecutando con script bash

Para ejecutar Cove, use el comando a continuación:

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• Los modelos disponibles son: llama2 , llama2_70b , llama-65b , gpt3
• La configuración disponible es: joint , two_step , factored
• Las tareas disponibles son: wikidata , wikidata_category , multispanqa

? Ejecutando con apptainer

Puede ejecutar los experimentos usando appTainer con los siguientes pasos:

1. Construya el contenedor de appTrainer utilizando el archivo my_apptainer.def proporcionado:

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. Ejecute los experimentos de Cove dentro del contenedor AppTainer ejecutando el apptainer_job :

SBATCH apptainer_job.sh

Alternativamente, puede usar el siguiente comando:

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b