DD3412 chain of verification reproduction

DD3412-chain-of-verification-reproduction

クイックスタート

まず、Python仮想環境を作成し、要件をインストールします。

conda create -n CoVe python=3.10
conda activate CoVe

要件をインストールするには：

pip install -r requirements.txt

次に、OpenAIやHuggingface APIキーなどの機密データを保存するために、 .configurationという名前のファイルを作成します。このファイルは次のように見えます。

 OPENAI_API_KEY=sk-abc.....
HF_API_KEY=hf_abc.......

実験を実行します

BASHスクリプトで実行されます

Coveを実行するには、以下のコマンドを使用してください。

 >> bash scripts/wikidata.sh # for wikidata task, and Llama2-70b model

• 利用可能なモデルは、 llama2 、 llama2_70b 、 llama-65b 、 gpt3
• 利用可能な設定は、 joint 、 two_step 、 factoredです
• 利用可能なタスクは、 wikidata 、 wikidata_category 、 multispanqaです

？ Apptainerで実行します

次の手順でApptainerを使用して実験を実行できます。

1. 提供されたmy_apptainer.defファイルを使用して、 Apptainerコンテナを構築します。

 # Build the Apptainer container
apptainer build my_container.sif my_apptainer.def

2. apptainer_jobを実行して、 Apptainerコンテナ内で入り江の実験を実行します。

SBATCH apptainer_job.sh

または、次のコマンドを使用できます。

apptainer exec --nv my_apptainer.sif ./scripts/wikidata.sh # for Wikidata task and Llama2-70b