prompt_ate

提示什么术语提取需要？

1。描述

在此存储库中，我们对大规模语言模型（LLMS）在ATE任务上的适用性进行研究以三种提示：（1）序列标记响应； （2）文本产生响应； （3）填补两种类型的空白。我们对三种语言和四个领域的Acter Corpora进行实验。在TSD会议上查看我们的论文：此处

---

2。要求

请使用此命令安装在unignts.txt中注明的所有必要库：

 pip install -r requirements.txt

3。数据

实验是在Acter数据集上进行的：

	ACTER数据集
语言	英语，法语和荷兰语
域	腐败，风能，公平，心力衰竭

在此处下载Acter数据集并将其保存到Acter文件夹中。

4。实施

4.1序列标记的XLMR基线

请参阅ATE-2022的工作，以实现序列标记的基线。

4.2模板ATE SEQ2SEQ排名

运行以下命令生成模板：

 cd template_ate /
python gen_template . py

运行以下命令来训练所有模型：

 cd template_ate /
chmod + x run . sh
. / run . sh

4.3。 GPT-ate提示

将您的API密钥添加到prompts/prompt_classifier.py并运行以下命令。

 cd prompts /
python prompt_classifier . py [ - - data_path ] [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

在哪里：

• --data_path是数据目录的路径；
• --lang是语料库的语言；
• --ver是语料库（ANN或NES）的版本；
• --formats是提示设计的格式；
• --output_path是输出CSV文件的路径。

运行以下命令以运行所有模型：

 cd prompts /
chmod + x run_prompt . sh
. / run_prompt . sh

为了进行评估，请运行以下命令：

 cd prompts /
python evaluate . py [ - - data_path ] [ - - lang ] [ - - ver ]

在哪里：

• --data_path是数据目录的路径；
• --lang是语料库的语言；
• --ver是语料库（ANN或NES）的版本。

运行以下命令来运行所有评估：

 cd prompts /
chmod + x run_eval . sh
. / run_eval . sh

4.4。 Llama2提示

通过此命令，通过huggingface帐户令牌登录huggingface-clo

huggingface-cli login

并运行以下命令以运行模型：

 cd prompts /
python llama2 . py [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

在哪里：

• --lang是语料库的语言；
• --ver是语料库（ANN或NES）的版本；
• --formats是提前设计的格式（1,2或3）；
• --output_path是输出CSV文件的路径。

运行以下命令以运行所有模型：

 cd prompts /
chmod + x run_llama . sh
. / run_llama . sh 

5。结果

5.1。安金标准

设置	英语精度	英语召回	英语F1得分	法国精度	法国召回	法国F1得分	荷兰精度	荷兰人召回	荷兰F1得分
生物分类器
火车：风，equi -val：Corp	58.6	40.7	48.0	68.8	34.2	45.7	73.5	54.1	62.3
火车：公司，等级 - 瓦尔：风	58.5	49.5	53.6	70.7	41.0	51.9	73.3	59.7	65.8
火车：Corp，Wind -Val：Equi	58.1	48.1	52.6	70.5	44.4	54.5	70.3	62.2	66.0
Template
火车：风，equi -val：Corp	30.5	24.8	27.4	40.4	26.1	31.7	32.2	45.6	37.8
火车：公司，等级 - 瓦尔：风	24.4	21.3	22.8	31.7	26.6	28.9	29.6	37.4	33.0
火车：Corp，Wind -Val：Equi	32.5	29.2	30.7	26.9	37.0	31.2	32.7	43.9	37.4
gpt-ate
内域几乎没有射击格式＃1	10.8	14.4	12.3	11.3	11.6	11.4	18.3	14.1	15.9
内域几乎没有射击格式＃2	26.6	67.6	38.2	28.5	67.0	40.0	36.8	79.6	50.3
内域中几乎没有格式＃3	39.6	48.3	43.5	45.5	50.8	48.0	61.1	56.6	58.8

5.2。 NES黄金标准

设置	英语精度	英语召回	英语F1得分	法国精度	法国召回	法国F1得分	荷兰精度	荷兰人召回	荷兰F1得分
生物分类器
火车：风，equi -val：Corp	63.0	45.0	52.5	69.4	40.4	51.1	72.9	58.8	65.1
火车：公司，等级 - 瓦尔：风	63.9	50.3	56.3	72.0	47.2	57.0	75.9	58.6	66.1
火车：Corp，Wind -Val：Equi	62.1	52.1	56.7	72.4	48.5	58.1	73.3	61.5	66.9
Template
火车：风，equi -val：Corp	30.4	31.5	31.0	36.4	39.3	37.8	30.4	45.2	36.4
火车：公司，等级 - 瓦尔：风	27.1	29.6	28.3	31.1	24.2	27.2	41.1	37.8	39.4
火车：Corp，Wind -Val：Equi	34.7	32.5	33.6	40.7	33.0	36.5	32.2	47.3	38.3
gpt-ate
内域几乎没有射击格式＃1	10.3	13.1	11.5	10.8	12.0	11.4	14.8	13.2	14.0
内域几乎没有射击格式＃2	29.2	69.2	41.1	27.9	66.8	39.4	39.8	78.5	52.8
内域中几乎没有格式＃3	39.8	53.1	45.5	44.7	54.4	49.1	63.6	60.6	62.1

贡献者：

• ？ Tran Thi Hong Hanh？

执照

• 许可证：创意共享属性 - 非商业 - 共享4.0国际（CC BY-NC-SA 4.0）（https://creativecommons.org/licenses/by-nc-sa/4.0/）
• 参考：如果您使用此方法进行研究，请引用以下论文

 @inproceedings{tran2024prompting,
  title={Is Prompting What Term Extraction Needs?},
  author={Tran, Hanh Thi Hong and González-Gallardo, Carlos-Emiliano and Delauney, Julien and Moreno, Jose and Doucet, Antoine and Pollak, Senja},
  booktitle={27th International Conference on Text, Speech and Dialogue (TSD 2024)},
  year={2024},
  note={Accepted}
}