DD3412 chain of verification reproduction

DD3412-驗證 - 復發

Quickstart

首先，創建一個Python虛擬環境並安裝要求：

conda create -n CoVe python=3.10
conda activate CoVe

安裝要求：

pip install -r requirements.txt

然後，創建一個名為.configuration的文件以存儲機密數據，例如OpenAI和HuggingFace API鍵。該文件應該看起來像：

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

運行實驗

使用bash腳本運行

要執行Cove，請使用以下命令：

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• 可用型號是： llama2 ， llama2_70b ， llama-65b ， gpt3
• 可用設置為： joint ， two_step ， factored
• 可用任務是： wikidata ， wikidata_category ， multispanqa

？使用apptainer運行

您可以使用以下步驟使用AppTainer運行實驗：

1. 通過使用提供的my_apptainer.def文件來構建apptainer容器：

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. 通過執行apptainer_job ：

SBATCH apptainer_job.sh

另外，您可以使用以下命令：

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b