LAUG

笑

LAUG是一個用於語言理解 AUGmentation 的開源工具包。它是一種對現有資料進行近似自然擾動的自動方法。增強資料可用於進行黑盒穩健性測試或增強訓練。 [紙]

• 笑
  • 安裝
  • 增強方法
  • 支援的數據集
  • 自然邏輯單元模型
  • 引用
  • 執照

安裝

需要 python 3.6。

克隆此存儲庫：

git clone https://github.com/thu-coai/LAUG.git

透過 pip 安裝：

 cd LAUG
pip install -e .

下載資料和模型：

我們論文中使用的數據和我們預先訓練的模型參數可以在連結中找到。請下載並放置到對應的目錄中。其他人所發布的模型參數請參考各增強方法目錄下的README.md ，如LAUG/aug/Speech_Recognition/README.md 。

增強方法

以下是我們論文中描述的 4 種增強方法。它們位於LAUG/aug目錄下。

• Word Perturbation (WP)，位於Word_Perturbation/目錄。
• 文本釋義 (TP)，位於Text_Paraphrasing/目錄。
• 語音辨識 (SR)，位於Speech_Recognition/目錄。
• 言語不流暢 (SD)，位於Speech_Disfluency/目錄。

請參閱我們的論文和每種增強方法中的 README.md 以獲取詳細資訊。

有關這些增強方法的用法，請參閱demo.py

python demo.py

請注意，我們的增強方法包含多個神經模型，因此需要在使用前下載預先訓練的參數。我們預先訓練的參數可以在 Link 上找到。對於其他人發布的參數，請按照各方法的說明進行操作。

支援的數據集

我們論文中使用的數據可在連結中找到。請下載它並將其放置在data/目錄中。

我們的資料包含 2 個資料集：MultiWOZ 和 Frames，以及它們的增強副本。

• 多WOZ

  • 原始數據
    • 我們使用MultiWOZ 2.3作為原始資料。我們將其放置在data/multiwoz/目錄中。
    • 訓練/驗證/測試大小：8434/999/1000 個對話方塊。
    • 執照：
  • 增強數據
    • 我們有 4 個增強測試集：
      • WP（Word Perturbation），大小：1000，放置在data/multiwoz/WP 。
      • TP（文字釋義），大小：1000，放置在data/multiwoz/TP 。
      • SR（語音擾動），大小：1000，放置在data/multiwoz/SR 。
      • SD（言語不流暢），大小：1000，放置在data/multiwoz/SD 。
    • 我們有 1 個增強訓練集：
      • 尺寸：16868，包含：50%Original+(12.5%WP+12.5%TP+12.5%SR+12.5%SD)，放置在data/multiwoz/Enhanced中。
  • 真實用戶評價數據：
    • 我們收集了 240 個真實使用者的話語來進行真實使用者評估。
    • 我們將其放置在data/multiwoz/Real目錄中。
    • 有關真實數據的統計和收集的詳細信息，請參閱我們的論文。

• 鏡框

  • 原始數據
    • 我們將幀處理為與 MultiWOZ 相同的格式，並將其放置在data/Frames/目錄中。
    • 訓練/驗證/測試大小：1095/137/137 對話方塊。
    • 執照：
  • 增強數據
    • 我們有 4 個增強測試集：
      • WP（Word Perturbation），大小：137，放置在data/Frames/WP 。
      • TP（文字釋義），大小：137，放置在data/Frames/TP 。
      • SR（語音擾動），大小：137，放置在data/Frames/SR處。
      • SD（言語不流暢），大小：137，放置在data/Frames/SD處。
    • 我們有 1 個增強訓練集：
      • 尺寸：2190，包含：50%原始+(12.5%WP+12.5%TP+12.5%SR+12.5%SD)，放置在data/Frames/Enhanced 。

自然邏輯單元模型

我們提供了四種基本 NLU 模型，在我們的論文中進行了描述：

• 米魯
• 伯特
• 複製網
• GPT-2

這些模型改編自 ConvLab-2。有關更多詳細信息，您可以參考LUAG/nlu/$model/$dataset目錄下的README.md例如LAUG/nlu/gpt/multiwoz/README.md 。

引用

如果您在研究中使用 LAUG，請引用：

 @inproceedings{liu2021robustness,
    title={Robustness Testing of Language Understanding in Task-Oriented Dialog},
    author={Liu, Jiexi and Takanobu, Ryuichi and Wen, Jiaxin and Wan, Dazhen and Li, Hongguang and Nie, Weiran and Li, Cheng and Peng, Wei and Huang, Minlie},
    year={2021},
    booktitle={Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics},
}

執照

阿帕契許可證 2.0