DD3412 chain of verification reproduction

DD3412 검증-재생산

QuickStart

먼저 파이썬 가상 환경을 만들고 요구 사항을 설치하십시오.

conda create -n CoVe python=3.10
conda activate CoVe

요구 사항을 설치하려면 :

pip install -r requirements.txt

그런 다음 .configuration 이라는 파일을 작성하여 OpenAI 및 HuggingFace API 키와 같은 기밀 데이터를 저장하십시오. 이 파일은 다음과 같아야합니다.

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

실험을 실행하십시오

Bash 스크립트로 실행됩니다

Cove를 실행하려면 아래 명령을 사용하십시오.

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• 사용 가능한 모델 : llama2 , llama2_70b , llama-65b , gpt3
• 사용 가능한 설정은 다음과 같습니다. joint , two_step , factored
• 사용 가능한 작업은 wikidata , wikidata_category , multispanqa 입니다

? apptainer와 함께 달리기

다음 단계로 Apptainer를 사용하여 실험을 실행할 수 있습니다.

1. 제공된 my_apptainer.def 파일을 사용하여 Apptainer 컨테이너를 만듭니다 .

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. apptainer_job 을 실행하여 Apptainer 컨테이너 내에서 Cove 실험을 실행하십시오 .

SBATCH apptainer_job.sh

또는 다음 명령을 사용할 수 있습니다.

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b