DD3412 chain of verification reproduction

DD3412-Ketten-von-Verlust-Reproduktion

QuickStart

Erstellen Sie zunächst eine virtuelle Python -Umgebung und installieren Sie die Anforderungen:

conda create -n CoVe python=3.10
conda activate CoVe

Anforderungen installieren:

pip install -r requirements.txt

Erstellen Sie dann eine Datei namens .configuration , um die vertraulichen Daten wie OpenAI und Huggingface -API -Schlüssel zu speichern. Diese Datei sollte aussehen wie:

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

Führen Sie die Experimente durch

Ausführen mit Bash -Skript

Verwenden Sie den folgenden Befehl, um Cove auszuführen:

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• Verfügbare Modelle sind: llama2 , llama2_70b , llama-65b , gpt3
• Verfügbare Einstellungen sind: joint , two_step , factored
• Verfügbare Aufgaben sind: wikidata , wikidata_category , multispanqa

? Laufen mit Apptainer

Sie können die Experimente mit Apptainer mit den folgenden Schritten ausführen:

1. Erstellen Sie den Apptainer -Container mit der bereitgestellten my_apptainer.def -Datei:

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. Führen Sie die Cove -Experimente innerhalb des Apptainer -Containers aus, indem Sie den apptainer_job ausführen:

SBATCH apptainer_job.sh

Alternativ können Sie den folgenden Befehl verwenden:

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b