prompt_ate

Подсказывает ли вопрос о том, какой термин нужен?

1. Описание

В этом репо, мы реализуем наше исследование по применению крупномасштабных языковых моделей (LLMS) на задачах ATE в трех формах подсказки: (1) ответ на маркировку последовательности; (2) обратный ответ; и (3) заполнение разрыва обоих типов. Мы проводим эксперименты по актерской корпорации трех языков и четырех областей. Проверьте нашу статью на TSD Conference: Здесь

---

2. Требования

Пожалуйста, установите все необходимые библиотеки, отмеченные в требованиях .txt, используя эту команду:

 pip install -r requirements.txt

3. Данные

Эксперименты проводились на наборах данных актерных данных:

	Набор данных актер
Языки	Английский, французский и голландский
Домены	Коррупция, энергия ветра, уравнение, сердечная недостаточность

Загрузите набор данных Acter здесь и сохраните в папку Acter.

4. Реализация

4.1.

Пожалуйста, обратитесь к работе от ATE-2012 для реализации базовой линии маркировки последовательности.

4.2 Шаблон съел рейтинг SEQ2SEQ

Запустите следующую команду для генерации шаблонов:

 cd template_ate /
python gen_template . py

Запустите следующую команду, чтобы обучить все модели:

 cd template_ate /
chmod + x run . sh
. / run . sh

4.3. GPT-ate подсказка

Добавьте свой клавишу API в prompts/prompt_classifier.py и запустите следующую команду.

 cd prompts /
python prompt_classifier . py [ - - data_path ] [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

где:

• --data_path -это путь к каталогу данных;
• --lang является языком корпуса;
• --ver , версия корпуса (Ann или NES);
• --formats -это поощряющийся формат;
• --output_path -это путь к выходному файлу CSV.

Запустите следующую команду, чтобы запустить все модели:

 cd prompts /
chmod + x run_prompt . sh
. / run_prompt . sh

Для оценки запустите следующую команду:

 cd prompts /
python evaluate . py [ - - data_path ] [ - - lang ] [ - - ver ]

где:

• --data_path -это путь к каталогу данных;
• --lang является языком корпуса;
• --ver , версия корпуса (Ann или NES).

Запустите следующую команду, чтобы запустить всю оценку:

 cd prompts /
chmod + x run_eval . sh
. / run_eval . sh

4.4. Llama2 подсказка

Войдите в huggingface-clo by guggingface account tokens через эту команду

huggingface-cli login

и запустите следующую команду, чтобы запустить модель:

 cd prompts /
python llama2 . py [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

где:

• --lang является языком корпуса;
• --ver , версия корпуса (Ann или NES);
• --formats -это поощряющийся формат (1,2 или 3);
• --output_path -это путь к выходному файлу CSV.

Запустите следующую команду, чтобы запустить все модели:

 cd prompts /
chmod + x run_llama . sh
. / run_llama . sh 

5. Результаты

5.1. Ann Gold Standard

Настройки	Английская точность	Английский отзыв	Английский F1-показатель	Французская точность	Французский отзыв	Французский F1-показатель	Голландская точность	Голландский отзыв	Голландский F1-показатель
Био -классификатор
Поезд: ветер, equi - val: corp	58.6	40,7	48.0	68.8	34.2	45,7	73,5	54.1	62,3
Тренинг: Корпорация, Экви - Вэл: ветер	58.5	49,5	53,6	70.7	41.0	51.9	73,3	59,7	65,8
Тран: Корпорация, Винд - Вэл: equi	58.1	48.1	52,6	70,5	44,4	54,5	70.3	62,2	66.0
Матрица
Поезд: ветер, equi - val: corp	30,5	24.8	27.4	40.4	26.1	31.7	32.2	45,6	37.8
Тренинг: Корпорация, Экви - Вэл: ветер	24.4	21.3	22.8	31.7	26.6	28.9	29,6	37.4	33,0
Тран: Корпорация, Винд - Вэл: equi	32,5	29.2	30.7	26.9	37.0	31.2	32,7	43,9	37.4
Gpt-ate
Внутренний формат несколько выстрелов № 1	10.8	14.4	12.3	11.3	11.6	11.4	18.3	14.1	15.9
Внутренний формат нескольких выстрелов №2	26.6	67.6	38.2	28.5	67.0	40.0	36.8	79,6	50.3
Внутренний формат нескольких выстрелов № 3	39,6	48.3	43,5	45,5	50,8	48.0	61.1	56.6	58.8

5.2. NES Gold Standard

Настройки	Английская точность	Английский отзыв	Английский F1-показатель	Французская точность	Французский отзыв	Французский F1-показатель	Голландская точность	Голландский отзыв	Голландский F1-показатель
Био -классификатор
Поезд: ветер, equi - val: corp	63,0	45,0	52,5	69,4	40.4	51.1	72,9	58.8	65,1
Тренинг: Корпорация, Экви - Вэл: ветер	63,9	50.3	56.3	72,0	47.2	57.0	75,9	58.6	66.1
Тран: Корпорация, Винд - Вэл: equi	62.1	52,1	56.7	72.4	48.5	58.1	73,3	61.5	66.9
Матрица
Поезд: ветер, equi - val: corp	30.4	31.5	31.0	36.4	39,3	37.8	30.4	45,2	36.4
Тренинг: Корпорация, Экви - Вэл: ветер	27.1	29,6	28.3	31.1	24.2	27.2	41.1	37.8	39,4
Тран: Корпорация, Винд - Вэл: equi	34.7	32,5	33,6	40,7	33,0	36.5	32.2	47.3	38.3
Gpt-ate
Внутренний формат несколько выстрелов № 1	10.3	13.1	11,5	10.8	12.0	11.4	14.8	13.2	14.0
Внутренний формат нескольких выстрелов №2	29.2	69,2	41.1	27,9	66.8	39,4	39,8	78.5	52,8
Внутренний формат нескольких выстрелов № 3	39,8	53,1	45,5	44,7	54.4	49.1	63,6	60.6	62.1

Авторы:

• ? Тран Ти Хон Хан?

Лицензия

• Лицензия : Creative Commons attribution-noncommercial-sharealik
• Ссылка : пожалуйста, цитируйте следующую статью, если вы используете этот метод для исследования

 @inproceedings{tran2024prompting,
  title={Is Prompting What Term Extraction Needs?},
  author={Tran, Hanh Thi Hong and González-Gallardo, Carlos-Emiliano and Delauney, Julien and Moreno, Jose and Doucet, Antoine and Pollak, Senja},
  booktitle={27th International Conference on Text, Speech and Dialogue (TSD 2024)},
  year={2024},
  note={Accepted}
}