DD3412 chain of verification reproduction

DD3412-chain-of-verifikasi-reproduksi

QuickStart

Pertama, buat lingkungan virtual Python dan pasang persyaratan:

conda create -n CoVe python=3.10
conda activate CoVe

Untuk menginstal persyaratan:

pip install -r requirements.txt

Kemudian, buat file bernama .configuration untuk menyimpan data rahasia, seperti OpenAi dan Huggingface API Keys. File ini seharusnya terlihat seperti:

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

Jalankan eksperimen

Berlari dengan skrip bash

Untuk mengeksekusi Cove, gunakan perintah di bawah ini:

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• Model yang tersedia adalah: llama2 , llama2_70b , llama-65b , gpt3
• Pengaturan yang tersedia adalah: joint , two_step , factored
• Tugas yang tersedia adalah: wikidata , wikidata_category , multispanqa

? Berjalan dengan Apptainer

Anda dapat menjalankan eksperimen menggunakan Apptainer dengan langkah -langkah berikut:

1. Bangun wadah apptainer dengan memanfaatkan file my_apptainer.def yang disediakan:

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. Jalankan Eksperimen Cove dalam Wadah Apptainer dengan mengeksekusi apptainer_job :

SBATCH apptainer_job.sh

Atau, Anda dapat menggunakan perintah berikut:

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b