TEXTOIRダウンロード - TEXTOIRソースコードのダウンロード

TEXTOIR

AI ソースコード

1.0.0

ダウンロード

TEXT オープンインテント認識 (TEXTOIR)

TEXTOIR は、初の高品質テキストオープンインテント認識プラットフォームです。このリポジトリには、2 つのタスク (オープンインテント検出とオープンインテント検出) の一連の最先端アルゴリズムを統合した、拡張可能なインターフェイスを備えた便利なツールキットが含まれています。また、パイプラインフレームワークと視覚化されたプラットフォームをリポジトリ TEXTOIR-DEMO でリリースします。

導入

TEXTOIR は、研究者が関連するテキストの公開分類およびクラスタリング手法を再現するための便利なツールキットを提供することを目的としています。これには、オープンインテントの検出とオープンインテントの検出として定義される 2 つのタスクが含まれています。オープンインテントの検出は、n クラスの既知のインテントを識別し、1 クラスのオープンインテントを検出することを目的としています。オープンインテントディスカバリは、既知のインテントに関する限られた事前知識を活用して、きめの細かい既知のオープンなインテントごとのクラスターを見つけることを目的としています。関連する論文とコードは、以前にリリースされた書籍リストにまとめられています。

オープンインテントの認識:
Example

アップデート

日付	お知らせ
2023 年 12 月	? ? Open Intent Discovery の新しい論文と SOTA。コードについては、ディレクトリ USNID を参照してください。論文を読んでください -- 教師なしおよび半教師ありの新しいインテント発見のためのクラスタリングフレームワーク (IEEE TKDE 2023 で発行)。
2023 年 4 月	? ?オープンインテント検出に関する新しい論文と SOTA。コードについては、ディレクトリ DA-ADB を参照してください。論文「オープンインテント検出のための識別表現と決定境界の学習」 (IEEE/ACM TASLP 2023 で発行) を読んでください。
2021 年 9 月	? ?初の統合および視覚化されたテキスト用プラットフォーム Open Intent Recognition TEXTOIR がリリースされました。デモコードについては、ディレクトリ TEXTOIR-DEMO を参照してください。論文「TEXTOIR: An Integrated and Visualized Platform for Text Open Intent Recognition (ACL 2021 で発行)」をお読みください。
2021 年 05 月	Open Intent Discovery の新しい論文とベースライン DeepAligned がリリースされました。論文「Discovering New Intents with Deep Aligned Clustering」 (AAAI 2021 で発行) をお読みください。
2021 年 05 月	Open Intent Detection における ADB の新しい論文とベースラインがリリースされました。論文「Adaptive Decision Boundary を使用した Deep Open Intent Classification」 (AAAI 2021 で発行) をお読みください。
2020 年 5 月	Open Intent Discovery の新しい論文とベースライン CDAC+ がリリースされました。論文『Discovering New Intents via Constrained Deep Adaptive Clustering with Cluster Refinement』 (AAAI 2020 で発行) をお読みください。
2019 年 7 月	Open Intent Detection における DeepUNK の新しい論文とベースラインがリリースされました。論文「マージン損失を伴う未知の意図の検出」 (ACL 2019 で発行) をお読みください。

ベンチマークインテントデータセットで公正で説得力のある結果を得るために、標準的で統一されたインターフェイス (特にデータ設定) を備えた TEXTOIR ツールキットを使用することを強くお勧めします。

ベンチマークデータセット

データセット	ソース
銀行業	紙
OOS / CLINC150	紙
スタックオーバーフロー	紙

統合モデル

オープンインテントの検出

モデル名	ソース	発行済み
オープンマックス*	ペーパーコード	CVPR 2016
MSP	ペーパーコード	ICLR 2017
ドキュメント	ペーパーコード	EMNLP 2017
ディープアンク	ペーパーコード	ACL 2019
SEG	ペーパーコード	ACL 2020
ADB	ペーパーコード	AAAI 2021
(K+1) 方向	ペーパーコード	ACL 2021
MDF	ペーパーコード	ACL 2021
ARPL*	ペーパーコード	IEEE TPAMI 2022
KNNCL	ペーパーコード	ACL 2022
DA-ADB	ペーパーコード	IEEE/ACM TASLP 2023

新しいインテントの発見

設定	モデル名	ソース	発行済み
監視なし	KM	紙	BSMSP 1967
監視なし	AG	紙	PR 1978
監視なし	SAE-KM	紙	JMLR 2010
監視なし	12月	ペーパーコード	ICML2016
監視なし	DCN	ペーパーコード	ICML2017
監視なし	CC	ペーパーコード	AAAI 2021
監視なし	SCCL	ペーパーコード	NAACL 2021
監視なし	USNID	ペーパーコード	IEEE TKDE 2023
半監視付き	KCL*	ペーパーコード	ICLR 2018
半監視付き	MCL*	ペーパーコード	ICLR 2019
半監視付き	DTC*	ペーパーコード	ICCV2019
半監視付き	CDAC+	ペーパーコード	AAAI 2020
半監視付き	ディープアライン	ペーパーコード	AAAI 2021
半監視付き	GCD	ペーパーコード	CVPR 2022
半監視付き	MTP-CLNN	ペーパーコード	ACL 2022
半監視付き	USNID	ペーパーコード	IEEE TKDE 2023

(* は BERT バックボーンに置き換えられた CV モデルを示します)

クイックスタート

anaconda を使用して Python (バージョン >= 3.6) 環境を作成する

 conda create --name textoir python=3.6
conda activate textoir

PyTorch (Cuda バージョン 11.2) をインストールする

 conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch -c conda-forge

TEXTOIR リポジトリのクローンを作成し、タスクを選択します (例としてオープンインテントの検出を取り上げます)。

 git clone [email protected]:thuiar/TEXTOIR.git
cd TEXTOIR
cd open_intent_detection

関連する環境依存関係をインストールする

 pip install -r requirements.txt

実行例 (ADB を例に挙げます)

 sh examples/run_ADB.sh

HuggingFace トランスフォーマーから事前トレーニング済みモデルを直接ダウンロードできない場合は、自分でダウンロードする必要があることに注意してください。事前トレーニングされた bert モデルを次のリンクで提供します。
Baidu クラウドドライブ (コード: v8tk)

拡張性

このツールキットは拡張可能で、新しいメソッド、データセット、構成、バックボーン、データローダー、損失の追加を簡単にサポートします。さらに詳しい情報は、ディレクトリ open_intent_detection および open_intent_discovery のチュートリアルで参照できます。

引用

この作業が役立つ場合、またはこのリポジトリのコードと結果を使用したい場合は、次の論文を引用してください。

TEXTOIR: テキストオープンインテント認識のための統合および視覚化プラットフォーム
オープンインテント検出のための差別的表現と決定境界の学習
教師なしおよび半教師ありの新しいインテント発見のためのクラスタリングフレームワーク

 @inproceedings{zhang-etal-2021-textoir,
    title = "{TEXTOIR}: An Integrated and Visualized Platform for Text Open Intent Recognition",
    author = "Zhang, Hanlei  and Li, Xiaoteng  and Xu, Hua  and Zhang, Panpan and Zhao, Kang  and Gao, Kai",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations",
    pages = "167--174",
    year = "2021",
    url = "https://aclanthology.org/2021.acl-demo.20",
    doi = "10.18653/v1/2021.acl-demo.20",
}

 @article{DA-ADB, 
    title = {Learning Discriminative Representations and Decision Boundaries for Open Intent Detection},  
    author = {Zhang, Hanlei and Xu, Hua and Zhao, Shaojie and Zhou, Qianrui}, 
    journal = {IEEE/ACM Transactions on Audio, Speech, and Language Processing},  
    volume = {31},
    pages = {1611-1623},
    year = {2023}, 
    doi = {10.1109/TASLP.2023.3265203} 
}

 @ARTICLE{USNID,
  author={Zhang, Hanlei and Xu, Hua and Wang, Xin and Long, Fei and Gao, Kai},
  journal={IEEE Transactions on Knowledge and Data Engineering}, 
  title={A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery}, 
  year={2023},
  doi={10.1109/TKDE.2023.3340732}
}