prompt_ate

Provoque-t-il ce dont l'extraction du terme a besoin?

1. Description

Dans ce dépôt, nous mettons en œuvre nos recherches sur l'applicabilité des modèles linguistiques à grande échelle (LLM) sur les tâches ATE dans trois formes d'incitation: (1) la réponse d'étiquetage des séquences; (2) réponse générative du texte; et (3) combler l'écart des deux types. Nous effectuons des expériences sur les corpus acter de trois langues et quatre domaines. Découvrez notre article à la conférence TSD: ici

---

2. Exigences

Veuillez installer toutes les bibliothèques nécessaires notées dans les exigences.txt en utilisant cette commande:

 pip install -r requirements.txt

3. Données

Les expériences ont été menées sur des ensembles de données ACTER:

	Ensemble de données acter
Langues	Anglais, français et néerlandais
Domaines	Corruption, énergie éolienne, équitation, insuffisance cardiaque

Téléchargez l'ensemble de données ACTER sur ICI et enregistrez dans le dossier ACTER.

4. Implémentation

4.1 Létique de base XLMR

Veuillez vous référer aux travaux de l'ATE-2022 pour la mise en œuvre de la ligne de base de l'étiquetage des séquences.

4.2 Modèle a mangé le classement SEQ2SEQ

Exécutez la commande suivante pour générer les modèles:

 cd template_ate /
python gen_template . py

Exécutez la commande suivante pour former tous les modèles:

 cd template_ate /
chmod + x run . sh
. / run . sh

4.3. GPT-ATE

Ajoutez votre touche API à prompts/prompt_classifier.py et exécutez la commande suivante.

 cd prompts /
python prompt_classifier . py [ - - data_path ] [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

où:

• --data_path est le chemin d'accès au répertoire de données;
• --lang est la langue du corpus;
• --ver est la version de Corpus (Ann ou NES);
• --formats est le format conçu par l'invitation;
• --output_path est le chemin d'accès au fichier CSV de sortie.

Exécutez la commande suivante pour exécuter tous les modèles:

 cd prompts /
chmod + x run_prompt . sh
. / run_prompt . sh

Pour l'évaluation, exécutez la commande suivante:

 cd prompts /
python evaluate . py [ - - data_path ] [ - - lang ] [ - - ver ]

où:

• --data_path est le chemin d'accès au répertoire de données;
• --lang est la langue du corpus;
• --ver est la version de Corpus (Ann ou NES).

Exécutez la commande suivante pour exécuter toute l'évaluation:

 cd prompts /
chmod + x run_eval . sh
. / run_eval . sh

4.4. LLAMA2 Inviter

Connexion huggingface-clo en étreignant les jetons de compte via cette commande

huggingface-cli login

et exécutez la commande suivante pour exécuter le modèle:

 cd prompts /
python llama2 . py [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

où:

• --lang est la langue du corpus;
• --ver est la version de Corpus (Ann ou NES);
• --formats est le format conçu par l'invitation (1,2 ou 3);
• --output_path est le chemin d'accès au fichier CSV de sortie.

Exécutez la commande suivante pour exécuter tous les modèles:

 cd prompts /
chmod + x run_llama . sh
. / run_llama . sh 

5. Résultats

5.1. Ann Gold Standard

Paramètres	Précision anglaise	Rappel en anglais	Anglais F1-score	Précision française	Rappel français	F1-score français	Précision néerlandaise	Rappel néerlandais	Score néerlandais F1
Classificateur de bio
Train: vent, équi - val: corp	58.6	40.7	48.0	68.8	34.2	45.7	73.5	54.1	62.3
Train: Corp, Equi - Val: vent	58.5	49.5	53.6	70.7	41.0	51.9	73.3	59.7	65.8
Train: Corp, vent - Val: Equi	58.1	48.1	52.6	70.5	44.4	54.5	70.3	62.2	66.0
Template
Train: vent, équi - val: corp	30.5	24.8	27.4	40.4	26.1	31.7	32.2	45.6	37.8
Train: Corp, Equi - Val: vent	24.4	21.3	22.8	31.7	26.6	28.9	29.6	37.4	33.0
Train: Corp, vent - Val: Equi	32.5	29.2	30.7	26.9	37.0	31.2	32.7	43.9	37.4
GPT-ATE
Format à quelques coups de domaine n ° 1	10.8	14.4	12.3	11.3	11.6	11.4	18.3	14.1	15.9
Format à quelques coups de domaine n ° 2	26.6	67.6	38.2	28.5	67.0	40.0	36.8	79.6	50.3
Format à quelques coups de domaine n ° 3	39.6	48.3	43.5	45,5	50.8	48.0	61.1	56.6	58.8

5.2. NES Gold Standard

Paramètres	Précision anglaise	Rappel en anglais	Anglais F1-score	Précision française	Rappel français	F1-score français	Précision néerlandaise	Rappel néerlandais	Score néerlandais F1
Classificateur de bio
Train: vent, équi - val: corp	63.0	45.0	52.5	69.4	40.4	51.1	72.9	58.8	65.1
Train: Corp, Equi - Val: vent	63.9	50.3	56.3	72.0	47.2	57.0	75.9	58.6	66.1
Train: Corp, vent - Val: Equi	62.1	52.1	56.7	72.4	48.5	58.1	73.3	61.5	66.9
Template
Train: vent, équi - val: corp	30.4	31.5	31.0	36.4	39.3	37.8	30.4	45.2	36.4
Train: Corp, Equi - Val: vent	27.1	29.6	28.3	31.1	24.2	27.2	41.1	37.8	39.4
Train: Corp, vent - Val: Equi	34.7	32.5	33.6	40.7	33.0	36.5	32.2	47.3	38.3
GPT-ATE
Format à quelques coups de domaine n ° 1	10.3	13.1	11.5	10.8	12.0	11.4	14.8	13.2	14.0
Format à quelques coups de domaine n ° 2	29.2	69.2	41.1	27.9	66.8	39.4	39.8	78.5	52.8
Format à quelques coups de domaine n ° 3	39.8	53.1	45,5	44.7	54.4	49.1	63.6	60.6	62.1

Contributeurs:

• ? Tran Thi Hong Hanh?

Licence

• Licence : Creative Commons Attribution-Noncommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) (https://creativecommons.org/licenses/by-nc-sa/4.0/)
• Référence : veuillez citer l'article suivant si vous utilisez cette méthode pour votre recherche

 @inproceedings{tran2024prompting,
  title={Is Prompting What Term Extraction Needs?},
  author={Tran, Hanh Thi Hong and González-Gallardo, Carlos-Emiliano and Delauney, Julien and Moreno, Jose and Doucet, Antoine and Pollak, Senja},
  booktitle={27th International Conference on Text, Speech and Dialogue (TSD 2024)},
  year={2024},
  note={Accepted}
}