prompt_ate

¿Está provocando qué término necesidades de extracción?

1. Descripción

En este repositorio, implementamos nuestra investigación sobre la aplicabilidad de los modelos de lenguaje a gran escala (LLMS) en tareas Ate en tres formas de solicitación: (1) respuesta de marcado de secuencia; (2) respuesta generativa de texto; y (3) llenar el vacío de ambos tipos. Llevamos a cabo experimentos en corpus acter de tres idiomas y cuatro dominios. Echa un vistazo a nuestro artículo en la Conferencia TSD: aquí

---

2. Requisitos

Instale todas las bibliotecas necesarias anotadas en requisitos.txt usando este comando:

 pip install -r requirements.txt

3. Datos

Los experimentos se realizaron en conjuntos de datos Acter:

	Conjunto de datos
Lenguas	Inglés, francés y holandés
Dominio	Corrupción, energía eólica, equitación, insuficiencia cardíaca

Descargue el conjunto de datos de Acter aquí y guarde en la carpeta Acter.

4. Implementación

4.1 Línea de base XLMR de marcas de secuencia

Consulte el trabajo de ATE-2022 para la implementación de la línea de base de marcas de secuencia.

4.2 La plantilla se ate SEQ2SEQ Ranking

Ejecute el siguiente comando para generar las plantillas:

 cd template_ate /
python gen_template . py

Ejecute el siguiente comando para entrenar a todos los modelos:

 cd template_ate /
chmod + x run . sh
. / run . sh

4.3. GPT-AT-ADITING

Agregue su clave API a prompts/prompt_classifier.py y ejecute el siguiente comando.

 cd prompts /
python prompt_classifier . py [ - - data_path ] [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

dónde:

• --data_path es la ruta al directorio de datos;
• --lang es el idioma del corpus;
• --ver es la versión de Corpus (ANN o NES);
• --formats es el formato diseñado por la solicitud;
• --output_path es la ruta al archivo CSV de salida.

Ejecute el siguiente comando para ejecutar todos los modelos:

 cd prompts /
chmod + x run_prompt . sh
. / run_prompt . sh

Para la evaluación, ejecute el siguiente comando:

 cd prompts /
python evaluate . py [ - - data_path ] [ - - lang ] [ - - ver ]

dónde:

• --data_path es la ruta al directorio de datos;
• --lang es el idioma del corpus;
• --ver es la versión de Corpus (ANN o NES).

Ejecute el siguiente comando para ejecutar toda la evaluación:

 cd prompts /
chmod + x run_eval . sh
. / run_eval . sh

4.4. Llama2 Involucrar

Iniciar sesión huggingface-clo por Huggingface Tokens de cuenta a través de este comando

huggingface-cli login

y ejecute el siguiente comando para ejecutar el modelo:

 cd prompts /
python llama2 . py [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

dónde:

• --lang es el idioma del corpus;
• --ver es la versión de Corpus (ANN o NES);
• --formats es el formato diseñado por la solicitud (1,2 o 3);
• --output_path es la ruta al archivo CSV de salida.

Ejecute el siguiente comando para ejecutar todos los modelos:

 cd prompts /
chmod + x run_llama . sh
. / run_llama . sh 

5. Resultados

5.1. Estándar de Ann Gold

Ajustes	Precisión inglesa	Recuerdo de inglés	Puntaje F1 inglés	Precisión francesa	Retiro francés	Puntaje F1 francés	Precisión holandesa	Retiro holandés	Puntaje F1 holandés
Clasificador biológico
Train: Wind, Equi - Val: Corp	58.6	40.7	48.0	68.8	34.2	45.7	73.5	54.1	62.3
Train: Corp, Equi - Val: Viento	58.5	49.5	53.6	70.7	41.0	51.9	73.3	59.7	65.8
Train: Corp, Wind - Val: Equi	58.1	48.1	52.6	70.5	44.4	54.5	70.3	62.2	66.0
Platear
Train: Wind, Equi - Val: Corp	30.5	24.8	27.4	40.4	26.1	31.7	32.2	45.6	37.8
Train: Corp, Equi - Val: Viento	24.4	21.3	22.8	31.7	26.6	28.9	29.6	37.4	33.0
Train: Corp, Wind - Val: Equi	32.5	29.2	30.7	26.9	37.0	31.2	32.7	43.9	37.4
Gpt-ate
Formato de pocos disparos en dominio #1	10.8	14.4	12.3	11.3	11.6	11.4	18.3	14.1	15.9
Formato de pocos disparos en dominio #2	26.6	67.6	38.2	28.5	67.0	40.0	36.8	79.6	50.3
Formato de pocos disparos en dominio #3	39.6	48.3	43.5	45.5	50.8	48.0	61.1	56.6	58.8

5.2. NES GOLD ESTÁNDAR

Ajustes	Precisión inglesa	Recuerdo de inglés	Puntaje F1 inglés	Precisión francesa	Retiro francés	Puntaje F1 francés	Precisión holandesa	Retiro holandés	Puntaje F1 holandés
Clasificador biológico
Train: Wind, Equi - Val: Corp	63.0	45.0	52.5	69.4	40.4	51.1	72.9	58.8	65.1
Train: Corp, Equi - Val: Viento	63.9	50.3	56.3	72.0	47.2	57.0	75.9	58.6	66.1
Train: Corp, Wind - Val: Equi	62.1	52.1	56.7	72.4	48.5	58.1	73.3	61.5	66.9
Platear
Train: Wind, Equi - Val: Corp	30.4	31.5	31.0	36.4	39.3	37.8	30.4	45.2	36.4
Train: Corp, Equi - Val: Viento	27.1	29.6	28.3	31.1	24.2	27.2	41.1	37.8	39.4
Train: Corp, Wind - Val: Equi	34.7	32.5	33.6	40.7	33.0	36.5	32.2	47.3	38.3
Gpt-ate
Formato de pocos disparos en dominio #1	10.3	13.1	11.5	10.8	12.0	11.4	14.8	13.2	14.0
Formato de pocos disparos en dominio #2	29.2	69.2	41.1	27.9	66.8	39.4	39.8	78.5	52.8
Formato de pocos disparos en dominio #3	39.8	53.1	45.5	44.7	54.4	49.1	63.6	60.6	62.1

Colaboradores:

• ? ¿Tran Thi Hong Hanh?

Licencia

• Licencia : Creative Commons Attribution-Noncomercial-Sharealike 4.0 International (CC BYNC-SA 4.0) (https://createivecommons.org/licenses/by-nc-sa/4.0/)
• Referencia : Cite el siguiente documento si usa este método para su investigación

 @inproceedings{tran2024prompting,
  title={Is Prompting What Term Extraction Needs?},
  author={Tran, Hanh Thi Hong and González-Gallardo, Carlos-Emiliano and Delauney, Julien and Moreno, Jose and Doucet, Antoine and Pollak, Senja},
  booktitle={27th International Conference on Text, Speech and Dialogue (TSD 2024)},
  year={2024},
  note={Accepted}
}