DD3412 chain of verification reproduction

DD3412-Chain-de-Verificação-Reprodução

Investir rápido

Primeiro, crie um ambiente virtual do Python e instale os requisitos:

conda create -n CoVe python=3.10
conda activate CoVe

Para instalar requisitos:

pip install -r requirements.txt

Em seguida, crie um arquivo chamado .configuration para armazenar os dados confidenciais, como o OpenAI e o HuggingFace API Keys. Este arquivo deve parecer:

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

Execute os experimentos

Correndo com script Bash

Para executar o Cove, use o comando abaixo:

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• Os modelos disponíveis são: llama2 , llama2_70b , llama-65b , gpt3
• As configurações disponíveis são: joint , two_step , factored
• As tarefas disponíveis são: wikidata , wikidata_category , multispanqa

? Executando com o Apptatener

Você pode executar os experimentos usando o Apptairer com as seguintes etapas:

1. Construa o contêiner do Apptayner , utilizando o arquivo fornecido my_apptainer.def :

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. Execute os experimentos de enseada no contêiner do Apctantener , executando o apptainer_job :

SBATCH apptainer_job.sh

Como alternativa, você pode usar o seguinte comando:

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b