cocktail DyG prompting

读书我

数据准备

确保n，p和t参数在graph_data/graph_generator.py ， text_data/text_generator.py和text_data/text_filter.py上保持一致。请将这些文件中的路径更新为您自己的存储路径。

步骤1：图形生成器

运行python graph_data/graph_generator.py生成图形。

步骤2：文本生成器

运行python text_data/text_generator.py以基于步骤1的图形生成任务。

步骤3：文本过滤器

运行python text_data/text_filter.py使用步骤2中的文本过滤数据，并获得有或没有答案的同等数量的任务。

提示

步骤1：实施自己的LLM课程

实现自己的LLM类，类似于api_LLM.py和api.py中的LLM类。确保实现允许使用llm()进行对话，并且clear_history()清除了对话历史记录。

步骤2：推断

运行下面的命令以使用不同的提示模板。 COT参数对应于不同的提示。

python infer.py --model_name Llama3.1 --COT NO --api_key your_api_key

步骤3：评估

运行以下命令以获取准确率。

python acc.py --model_name Llama3.1 --COT NO