prompt_ate

どの用語抽出のニーズを促していますか？

1。説明

このレポでは、3つの形式のプロンプトでATEタスクに大規模な言語モデル（LLMS）の適用性に関する研究を実装します。（1）シーケンスラベル応答。 （2）テキスト世代の応答。 （3）両方のタイプのギャップを埋める。 3つの言語と4つのドメインのACTERコーパスで実験を行います。 TSDカンファレンスの論文をご覧ください：こちら

---

2。要件

このコマンドを使用して、要件に記載されているすべての必要なライブラリをインストールしてください。

 pip install -r requirements.txt

3。データ

実験は、Acterデータセットで実施されました。

	Acterデータセット
言語	英語、フランス語、オランダ語
ドメイン	腐敗、風力エネルギー、公平性、心不全

Acterデータセットをここにダウンロードして、Acterフォルダーに保存します。

4。実装

4.1シーケンスラベルXLMRベースライン

シーケンスラベルベースラインの実装については、ATE-2022の作業を参照してください。

4.2テンプレートATE SEQ2SEQランキング

次のコマンドを実行して、テンプレートを生成します。

 cd template_ate /
python gen_template . py

次のコマンドを実行して、すべてのモデルをトレーニングします。

 cd template_ate /
chmod + x run . sh
. / run . sh

4.3。 gpt-ateプロンプト

APIキーをprompts/prompt_classifier.pyに追加し、次のコマンドを実行します。

 cd prompts /
python prompt_classifier . py [ - - data_path ] [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

どこ：

• --data_pathデータディレクトリへのパスです。
• --langコーパスの言語です。
• --verコーパス（ANNまたはNES）のバージョンです。
• --formats 、プロンプト設計形式です。
• --output_path 、出力CSVファイルへのパスです。

次のコマンドを実行して、すべてのモデルを実行します。

 cd prompts /
chmod + x run_prompt . sh
. / run_prompt . sh

評価のために、次のコマンドを実行します。

 cd prompts /
python evaluate . py [ - - data_path ] [ - - lang ] [ - - ver ]

どこ：

• --data_pathデータディレクトリへのパスです。
• --langコーパスの言語です。
• --verコーパス（ANNまたはNES）のバージョンです。

次のコマンドを実行して、すべての評価を実行します。

 cd prompts /
chmod + x run_eval . sh
. / run_eval . sh

4.4。 llama2プロンプト

このコマンドを介して、huggingfaceアカウントトークンによるログインhuggingface-clo

huggingface-cli login

次のコマンドを実行してモデルを実行します。

 cd prompts /
python llama2 . py [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

どこ：

• --langコーパスの言語です。
• --verコーパス（ANNまたはNES）のバージョンです。
• --formats 、プロンプト設計形式（1,2、または3）です。
• --output_path 、出力CSVファイルへのパスです。

次のコマンドを実行して、すべてのモデルを実行します。

 cd prompts /
chmod + x run_llama . sh
. / run_llama . sh 

5。結果

5.1。アンゴールドスタンダード

設定	英語の精度	英語のリコール	英語F1スコア	フランスの精度	フランス語のリコール	フランスのF1スコア	オランダの精度	オランダのリコール	オランダF1スコア
バイオ分類器
列車：風、equi -val：corp	58.6	40.7	48.0	68.8	34.2	45.7	73.5	54.1	62.3
列車：Corp、Equi -Val：風	58.5	49.5	53.6	70.7	41.0	51.9	73.3	59.7	65.8
列車：Corp、Wind -Val：Equi	58.1	48.1	52.6	70.5	44.4	54.5	70.3	62.2	66.0
Templateate
列車：風、equi -val：corp	30.5	24.8	27.4	40.4	26.1	31.7	32.2	45.6	37.8
列車：Corp、Equi -Val：風	24.4	21.3	22.8	31.7	26.6	28.9	29.6	37.4	33.0
列車：Corp、Wind -Val：Equi	32.5	29.2	30.7	26.9	37.0	31.2	32.7	43.9	37.4
gpt-ate
ドメイン内の少数のショット形式＃1	10.8	14.4	12.3	11.3	11.6	11.4	18.3	14.1	15.9
ドメイン内の少数のショット形式＃2	26.6	67.6	38.2	28.5	67.0	40.0	36.8	79.6	50.3
ドメイン内の少数のショット形式＃3	39.6	48.3	43.5	45.5	50.8	48.0	61.1	56.6	58.8

5.2。 NESゴールドスタンダード

設定	英語の精度	英語のリコール	英語F1スコア	フランスの精度	フランス語のリコール	フランスのF1スコア	オランダの精度	オランダのリコール	オランダF1スコア
バイオ分類器
列車：風、equi -val：corp	63.0	45.0	52.5	69.4	40.4	51.1	72.9	58.8	65.1
列車：Corp、Equi -Val：風	63.9	50.3	56.3	72.0	47.2	57.0	75.9	58.6	66.1
列車：Corp、Wind -Val：Equi	62.1	52.1	56.7	72.4	48.5	58.1	73.3	61.5	66.9
Templateate
列車：風、equi -val：corp	30.4	31.5	31.0	36.4	39.3	37.8	30.4	45.2	36.4
列車：Corp、Equi -Val：風	27.1	29.6	28.3	31.1	24.2	27.2	41.1	37.8	39.4
列車：Corp、Wind -Val：Equi	34.7	32.5	33.6	40.7	33.0	36.5	32.2	47.3	38.3
gpt-ate
ドメイン内の少数のショット形式＃1	10.3	13.1	11.5	10.8	12.0	11.4	14.8	13.2	14.0
ドメイン内の少数のショット形式＃2	29.2	69.2	41.1	27.9	66.8	39.4	39.8	78.5	52.8
ドメイン内の少数のショット形式＃3	39.8	53.1	45.5	44.7	54.4	49.1	63.6	60.6	62.1

貢献者：

• ？ Tran Thi Hong Hanh？

ライセンス

• ライセンス：Creative Commons Attribution-NonCommercial-Sharealike4.0 International（CC BY-NC-SA 4.0）（https://creativecommons.org/licenses/by-nc-sa/4.0/）
• 参照：この方法を研究に使用する場合は、次の論文を引用してください

 @inproceedings{tran2024prompting,
  title={Is Prompting What Term Extraction Needs?},
  author={Tran, Hanh Thi Hong and González-Gallardo, Carlos-Emiliano and Delauney, Julien and Moreno, Jose and Doucet, Antoine and Pollak, Senja},
  booktitle={27th International Conference on Text, Speech and Dialogue (TSD 2024)},
  year={2024},
  note={Accepted}
}