DD3412 chain of verification reproduction

DD3412-chain-of-Verification-Reproduction

เร็ว

ขั้นแรกให้สร้างสภาพแวดล้อมเสมือนจริงของ Python และติดตั้งข้อกำหนด:

conda create -n CoVe python=3.10
conda activate CoVe

ในการติดตั้งข้อกำหนด:

pip install -r requirements.txt

จากนั้นสร้างไฟล์ชื่อ .configuration เพื่อจัดเก็บข้อมูลที่เป็นความลับเช่นคีย์ OpenAI และ HuggingFace API ไฟล์นี้ควรมีลักษณะ:

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

เรียกใช้การทดลอง

รันกับสคริปต์ทุบตี

ในการดำเนินการ Cove ให้ใช้คำสั่งด้านล่าง:

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• โมเดลที่มีอยู่คือ: llama2 , llama2_70b , llama-65b , gpt3
• การตั้งค่าที่มีอยู่คือ: joint , two_step , factored
• งานที่มีอยู่คือ: wikidata , wikidata_category , multispanqa

- ทำงานด้วย apptainer

คุณสามารถเรียกใช้การทดลองโดยใช้ AppTainer ด้วยขั้นตอนต่อไปนี้:

1. สร้างคอนเทนเนอร์ apptainer โดยใช้ไฟล์ my_apptainer.def ที่ให้ไว้:

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. เรียกใช้การทดลอง COVE ภายในคอนเทนเนอร์ AppTainer โดยดำเนินการ apptainer_job :

SBATCH apptainer_job.sh

หรือคุณสามารถใช้คำสั่งต่อไปนี้:

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b