TEXTOIR下載 - TEXTOIR原始碼下載

TEXTOIR

Ai源碼

1.0.0

下載

文本開放意圖識別（TEXTOIR）

TEXTOIR 是第一個高品質文字開放意圖識別平台。該儲存庫包含一個具有可擴展介面的方便工具包，整合了兩個任務（開放意圖檢測和開放意圖發現）的一系列最先進的演算法。我們也在倉庫 TEXTOIR-DEMO 中發布了管道框架和視覺化平台。

介紹

TEXTOIR 旨在為研究人員提供一個方便的工具包來重現相關的文本開放分類和聚類方法。它包含兩個任務，定義為開放意圖偵測和開放意圖發現。開放意圖檢測旨在識別n類已知意圖，並檢測一類開放意圖。開放意圖發現旨在利用已知意圖的有限先驗知識來找到細粒度的已知且開放的意圖集群。相關論文和程式碼都收集在我們之前發布的閱讀清單中。

開放意圖識別：
Example

更新

日期	公告
12/2023	？？開放意圖發現中的新論文和 SOTA。請參閱目錄 USNID 以取得代碼。閱讀論文－用於無監督和半監督新意圖發現的聚類框架（發表於 IEEE TKDE 2023）。
04/2023	？？開放意圖檢測中的新論文和 SOTA。請參閱目錄 DA-ADB 取得代碼。閱讀論文－學習用於開放意圖檢測的判別表示和決策邊界（發表於 IEEE/ACM TASLP 2023）。
09/2021	？？首個整合式視覺化文字開放意圖識別平台TEXTOIR已發布。演示代碼請參考 TEXTOIR-DEMO 目錄。閱讀我們的論文 TEXTOIR：文本開放意圖識別的整合視覺化平台（發佈於 ACL 2021）。
05/2021	開放意圖發現中的新論文和基線 DeepAligned 已發布。閱讀我們的論文《透過深度對齊聚類發現新意圖》（發表於 AAAI 2021）。
05/2021	新論文和 ADB 開放意圖檢測基線已發布。閱讀我們的論文《具有自適應決策邊界的深度開放意圖分類》（發表於 AAAI 2021）。
05/2020	開放意圖發現中的新論文和基線 CDAC+ 已發布。閱讀我們的論文《透過具有群集細化的約束深度自適應群集發現新意圖》（發表於 AAAI 2020）。
07/2019	開放意圖檢測中的新論文和基線 DeepUNK 已發布。閱讀我們的論文《深度未知意圖偵測與邊緣損失》（發表於 ACL 2019）。

我們強烈建議您使用我們的 TEXTOIR 工具包，該工具包具有標準且統一的介面（尤其是資料設定），以便在基準意圖資料集上獲得公平且可信賴的結果！

基準資料集

數據集	來源
銀行業	紙
OOS/CLINC150	紙
堆疊溢位	紙

整合模型

開放意圖檢測

型號名稱	來源	已發表
開放最大*	紙本代碼	2016年CVPR
MSP	紙本代碼	ICLR 2017
文件	紙本代碼	2017年歐洲管理國家實驗室
深淵	紙本代碼	2019年亞冠
賽格	紙本代碼	2020年亞冠
亞洲開發銀行	紙本代碼	2021 年亞洲人工智慧大會
(K+1)路	紙本代碼	2021年亞冠
中密度纖維板	紙本代碼	2021年亞冠
ARPL*	紙本代碼	IEEE TPAMI 2022
韓國國家癌症中心	紙本代碼	2022年亞冠
DA-亞銀	紙本代碼	IEEE/ACM TASLP 2023

新意圖發現

環境	型號名稱	來源	已發表
無監督	知識管理	紙	BSMSP 1967
無監督	股份公司	紙	1978年公關
無監督	SAE-KM	紙	2010年MLR
無監督	十二月	紙本代碼	2016年ICML
無監督	數位化網路	紙本代碼	2017年ICML
無監督	副本	紙本代碼	2021 年亞洲人工智慧大會
無監督	SCCL	紙本代碼	全國有色人種協會 2021
無監督	美國國家情報研究所	紙本代碼	IEEE TKDE 2023
半監督	倫敦國王學院*	紙本代碼	ICLR 2018
半監督	內側CL*	紙本代碼	ICLR 2019
半監督	故障碼*	紙本代碼	2019年國際汽車工業展
半監督	華助會+	紙本代碼	2020年亞洲人工智慧大會
半監督	深度對齊	紙本代碼	2021 年亞洲人工智慧大會
半監督	GCD	紙本代碼	CVPR 2022
半監督	MTP-CLNN	紙本代碼	2022年亞冠
半監督	美國國家情報研究所	紙本代碼	IEEE TKDE 2023

（* 表示 CV 模型替換為 BERT 主幹）

快速入門

使用anaconda創建Python（版本>=3.6）環境

 conda create --name textoir python=3.6
conda activate textoir

安裝 PyTorch（Cuda 版本 11.2）

 conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch -c conda-forge

複製 TEXTOIR 儲存庫，然後選擇任務（以開放意圖偵測為例）。

 git clone [email protected]:thuiar/TEXTOIR.git
cd TEXTOIR
cd open_intent_detection

安裝相關環境依賴

 pip install -r requirements.txt

運行範例（以ADB為例）

 sh examples/run_ADB.sh

請注意，如果您無法直接從 HuggingFace 轉換器下載預訓練模型，則需要自行下載。我們在以下連結中提供了預先訓練的bert模型：
百度雲盤，代碼：v8tk

可擴展性

該工具包是可擴展的，支援方便地添加新方法、資料集、配置、主幹、資料載入器、損失。更詳細的資訊可以在目錄 open_intent_detection 和 open_intent_discovery 的教學中看到。

引文

如果這項工作有幫助，或者您想使用此儲存庫中的程式碼和結果，請引用以下論文：

TEXTOIR：文字開放意圖識別的整合式視覺化平台
學習開放意圖偵測的判別表示和決策邊界
用於無監督和半監督新意圖發現的聚類框架

 @inproceedings{zhang-etal-2021-textoir,
    title = "{TEXTOIR}: An Integrated and Visualized Platform for Text Open Intent Recognition",
    author = "Zhang, Hanlei  and Li, Xiaoteng  and Xu, Hua  and Zhang, Panpan and Zhao, Kang  and Gao, Kai",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations",
    pages = "167--174",
    year = "2021",
    url = "https://aclanthology.org/2021.acl-demo.20",
    doi = "10.18653/v1/2021.acl-demo.20",
}

 @article{DA-ADB, 
    title = {Learning Discriminative Representations and Decision Boundaries for Open Intent Detection},  
    author = {Zhang, Hanlei and Xu, Hua and Zhao, Shaojie and Zhou, Qianrui}, 
    journal = {IEEE/ACM Transactions on Audio, Speech, and Language Processing},  
    volume = {31},
    pages = {1611-1623},
    year = {2023}, 
    doi = {10.1109/TASLP.2023.3265203} 
}

 @ARTICLE{USNID,
  author={Zhang, Hanlei and Xu, Hua and Wang, Xin and Long, Fei and Gao, Kai},
  journal={IEEE Transactions on Knowledge and Data Engineering}, 
  title={A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery}, 
  year={2023},
  doi={10.1109/TKDE.2023.3340732}
}