prompt_ate

A solicitação é que termo extração precisa?

1. Descrição

Neste repositório, implementamos nossa pesquisa sobre a aplicabilidade de modelos de idiomas em larga escala (LLMS) em tarefas ATE em três formas de promoção: (1) resposta de marcação de sequência; (2) resposta gerativa de texto; e (3) preenchendo a lacuna de ambos os tipos. Realizamos experimentos no Acter Corpora de três idiomas e quatro domínios. Confira nosso artigo na conferência TSD: aqui

---

2. Requisitos

Instale todas as bibliotecas necessárias nos requisitos.txt usando este comando:

 pip install -r requirements.txt

3. Dados

Os experimentos foram realizados nos conjuntos de dados Acter:

	DataSet Acter
Idiomas	Inglês, francês e holandês
Domínios	Corrupção, energia eólica, equitação, insuficiência cardíaca

Faça o download do conjunto de dados Acter aqui e salve na pasta Acter.

4. Implementação

4.1 Linha de base XLMR marcante de sequência

Consulte o trabalho da ATE-2022 para a implementação da linha de base da marcação de sequência.

4.2 Modelo Ate Seq2Seq Ranking

Execute o seguinte comando para gerar os modelos:

 cd template_ate /
python gen_template . py

Execute o seguinte comando para treinar todos os modelos:

 cd template_ate /
chmod + x run . sh
. / run . sh

4.3. GPT-Oate Promoting

Adicione sua tecla API para prompts/prompt_classifier.py e execute o seguinte comando.

 cd prompts /
python prompt_classifier . py [ - - data_path ] [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

onde:

• --data_path é o caminho para o diretório de dados;
• --lang é a linguagem do corpus;
• --ver é a versão do corpus (Ann ou NES);
• --formats é o formato projetado de destaque;
• --output_path é o caminho para o arquivo CSV de saída.

Execute o seguinte comando para executar todos os modelos:

 cd prompts /
chmod + x run_prompt . sh
. / run_prompt . sh

Para avaliação, execute o seguinte comando:

 cd prompts /
python evaluate . py [ - - data_path ] [ - - lang ] [ - - ver ]

onde:

• --data_path é o caminho para o diretório de dados;
• --lang é a linguagem do corpus;
• --ver é a versão do corpus (Ann ou NES).

Execute o seguinte comando para executar toda a avaliação:

 cd prompts /
chmod + x run_eval . sh
. / run_eval . sh

4.4. LLAMA2 provocando

Login huggingface-clo por huggingface conta tokens através deste comando

huggingface-cli login

e execute o seguinte comando para executar o modelo:

 cd prompts /
python llama2 . py [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

onde:

• --lang é a linguagem do corpus;
• --ver é a versão do corpus (Ann ou NES);
• --formats é o formato projetado (1,2 ou 3);
• --output_path é o caminho para o arquivo CSV de saída.

Execute o seguinte comando para executar todos os modelos:

 cd prompts /
chmod + x run_llama . sh
. / run_llama . sh 

5. Resultados

5.1. Ann Gold Standard

Configurações	Precisão em inglês	Recall em inglês	F1-score inglês	Precisão francesa	Recall francês	Score F1 francês	Precisão holandesa	Recall holandês	Score F1 holandês
Classificador Bio
Trem: vento, Equi - Val: Corp	58.6	40.7	48.0	68.8	34.2	45.7	73.5	54.1	62.3
Trem: Corp, Equi - Val: Vento	58.5	49.5	53.6	70.7	41.0	51.9	73.3	59.7	65.8
Trem: Corp, Wind - Val: Equi	58.1	48.1	52.6	70.5	44.4	54.5	70.3	62.2	66.0
Templateado
Trem: vento, Equi - Val: Corp	30.5	24.8	27.4	40.4	26.1	31.7	32.2	45.6	37.8
Trem: Corp, Equi - Val: Vento	24.4	21.3	22.8	31.7	26.6	28.9	29.6	37.4	33.0
Trem: Corp, Wind - Val: Equi	32.5	29.2	30.7	26.9	37.0	31.2	32.7	43.9	37.4
GPT-ATE
Formato de poucos tiro no domínio	10.8	14.4	12.3	11.3	11.6	11.4	18.3	14.1	15.9
Formato de poucos tiro no domínio	26.6	67.6	38.2	28.5	67.0	40.0	36.8	79.6	50.3
Formato de poucos tiro no domínio	39.6	48.3	43.5	45.5	50.8	48.0	61.1	56.6	58.8

5.2. NES Gold Standard

Configurações	Precisão em inglês	Recall em inglês	F1-score inglês	Precisão francesa	Recall francês	Score F1 francês	Precisão holandesa	Recall holandês	Score F1 holandês
Classificador Bio
Trem: vento, Equi - Val: Corp	63.0	45.0	52.5	69.4	40.4	51.1	72.9	58.8	65.1
Trem: Corp, Equi - Val: Vento	63.9	50.3	56.3	72.0	47.2	57.0	75.9	58.6	66.1
Trem: Corp, Wind - Val: Equi	62.1	52.1	56.7	72.4	48.5	58.1	73.3	61.5	66.9
Templateado
Trem: vento, Equi - Val: Corp	30.4	31.5	31.0	36.4	39.3	37.8	30.4	45.2	36.4
Trem: Corp, Equi - Val: Vento	27.1	29.6	28.3	31.1	24.2	27.2	41.1	37.8	39.4
Trem: Corp, Wind - Val: Equi	34.7	32.5	33.6	40.7	33.0	36.5	32.2	47.3	38.3
GPT-ATE
Formato de poucos tiro no domínio	10.3	13.1	11.5	10.8	12.0	11.4	14.8	13.2	14.0
Formato de poucos tiro no domínio	29.2	69.2	41.1	27.9	66.8	39.4	39.8	78.5	52.8
Formato de poucos tiro no domínio	39.8	53.1	45.5	44.7	54.4	49.1	63.6	60.6	62.1

Colaboradores:

• ? Tran Thi Hong Hanh?

Licença

• Licença : Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) (https://creativecoMmons.org/license/by-nnc-la/4.0/)
• Referência : Cite o seguinte artigo se você usar este método para sua pesquisa

 @inproceedings{tran2024prompting,
  title={Is Prompting What Term Extraction Needs?},
  author={Tran, Hanh Thi Hong and González-Gallardo, Carlos-Emiliano and Delauney, Julien and Moreno, Jose and Doucet, Antoine and Pollak, Senja},
  booktitle={27th International Conference on Text, Speech and Dialogue (TSD 2024)},
  year={2024},
  note={Accepted}
}