TEXTOIR Download - TEXTOIR -Quellcode herunterladen

TEXTOIR

AI-Quellcode

1.0.0

Herunterladen

TEXT Open Intent Recognition (TEXTOIR)

TEXTOIR ist die erste hochwertige Plattform zur Text-Open-Intent-Erkennung. Dieses Repo enthält ein praktisches Toolkit mit erweiterbaren Schnittstellen, das eine Reihe modernster Algorithmen für zwei Aufgaben integriert (Open-Intent-Erkennung und Open-Intent-Discovery). Wir veröffentlichen auch das Pipeline-Framework und die visualisierte Plattform im Repo TEXTOIR-DEMO.

Einführung

Ziel von TEXTOIR ist es, Forschern ein praktisches Toolkit zur Verfügung zu stellen, mit dem sie die entsprechenden offenen Klassifizierungs- und Clustering-Methoden für Texte reproduzieren können. Es enthält zwei Aufgaben, die als Erkennung offener Absichten und Entdeckung offener Absichten definiert sind. Die Erkennung offener Absichten zielt darauf ab, bekannte Absichten der N-Klasse zu identifizieren und offene Absichten einer Klasse zu erkennen. Die offene Absichtserkennung zielt darauf ab, begrenzte Vorkenntnisse über bekannte Absichten zu nutzen, um feinkörnige bekannte und offene Absichtscluster zu finden. Verwandte Artikel und Codes finden Sie in unserer zuvor veröffentlichten Leseliste.

Offene Absichtserkennung:
Example

Aktualisierungen

Datum	Ankündigungen
12/2023	? ? Neues Papier und SOTA in Open Intent Discovery. Die Codes finden Sie im Verzeichnis USNID. Lesen Sie den Artikel „A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery“ (veröffentlicht in IEEE TKDE 2023).
04/2023	? ? Neues Papier und SOTA in Open Intent Detection. Die Codes finden Sie im Verzeichnis DA-ADB. Lesen Sie den Artikel – Learning Discriminative Representations and Decision Boundaries for Open Intent Detection (veröffentlicht in IEEE/ACM TASLP 2023).
09/2021	? ? Die erste integrierte und visualisierte Plattform für Text Open Intent Recognition TEXTOIR wurde veröffentlicht. Die Democodes finden Sie im Verzeichnis TEXTOIR-DEMO. Lesen Sie unseren Artikel TEXTOIR: An Integrated and Visualized Platform for Text Open Intent Recognition (veröffentlicht in ACL 2021).
05/2021	Neues Papier und Basislinien von DeepAligned in Open Intent Discovery wurden veröffentlicht. Lesen Sie unseren Artikel Discovering New Intents with Deep Aligned Clustering (veröffentlicht in AAAI 2021).
05/2021	Neues Papier und ADB-Grundlinien zur Open Intent Detection wurden veröffentlicht. Lesen Sie unseren Artikel „Deep Open Intent Classification with Adaptive Decision Boundary“ (veröffentlicht in AAAI 2021).
05/2020	Neues Papier und Basislinien CDAC+ in Open Intent Discovery wurden veröffentlicht. Lesen Sie unseren Artikel Discovering New Intents via Constrained Deep Adaptive Clustering with Cluster Refinement (veröffentlicht in AAAI 2020).
07/2019	Neues Papier und Grundlagen von DeepUNK zur Open Intent Detection wurden veröffentlicht. Lesen Sie unseren Artikel „Deep Unknown Intent Detection with Margin Loss“ (veröffentlicht in ACL 2019).

Wir empfehlen Ihnen dringend, unser TEXTOIR-Toolkit zu verwenden, das über standardisierte und einheitliche Schnittstellen (insbesondere Dateneinstellung) verfügt, um faire und nachvollziehbare Ergebnisse für Benchmark-Intent-Datensätze zu erhalten!

Benchmark-Datensätze

Datensätze	Quelle
BANKEN	Papier
OOS / CLINC150	Papier
StackOverflow	Papier

Integrierte Modelle

Offene Absichtserkennung

Modellname	Quelle	Veröffentlicht
OpenMax*	Papiercode	CVPR 2016
MSP	Papiercode	ICLR 2017
DOC	Papiercode	EMNLP 2017
DeepUnk	Papiercode	ACL 2019
SEG	Papiercode	ACL 2020
ADB	Papiercode	AAAI 2021
(K+1)-Weg	Papiercode	ACL 2021
MDF	Papiercode	ACL 2021
ARPL*	Papiercode	IEEE TPAMI 2022
KNNCL	Papiercode	ACL 2022
DA-ADB	Papiercode	IEEE/ACM TASLP 2023

Neue Absichtserkennung

Einstellung	Modellname	Quelle	Veröffentlicht
Unbeaufsichtigt	KM	Papier	BSMSP 1967
Unbeaufsichtigt	AG	Papier	PR 1978
Unbeaufsichtigt	SAE-KM	Papier	JMLR 2010
Unbeaufsichtigt	DEZ	Papiercode	ICML 2016
Unbeaufsichtigt	DCN	Papiercode	ICML 2017
Unbeaufsichtigt	CC	Papiercode	AAAI 2021
Unbeaufsichtigt	SCCL	Papiercode	NAACL 2021
Unbeaufsichtigt	USNID	Papiercode	IEEE TKDE 2023
Halbbeaufsichtigt	KCL*	Papiercode	ICLR 2018
Halbbeaufsichtigt	MCL*	Papiercode	ICLR 2019
Halbbeaufsichtigt	Fehlercode*	Papiercode	ICCV 2019
Halbbeaufsichtigt	CDAC+	Papiercode	AAAI 2020
Halbbeaufsichtigt	DeepAligned	Papiercode	AAAI 2021
Halbbeaufsichtigt	GCD	Papiercode	CVPR 2022
Halbbeaufsichtigt	MTP-CLNN	Papiercode	ACL 2022
Halbbeaufsichtigt	USNID	Papiercode	IEEE TKDE 2023

(* bezeichnet das CV-Modell, das durch das BERT-Backbone ersetzt wurde)

Schnellstart

Verwenden Sie Anaconda, um eine Python-Umgebung (Version >= 3.6) zu erstellen

 conda create --name textoir python=3.6
conda activate textoir

Installieren Sie PyTorch (Cuda-Version 11.2)

 conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch -c conda-forge

Klonen Sie das TEXTOIR-Repository und wählen Sie die Aufgabe aus (nehmen Sie die Erkennung offener Absichten als Beispiel).

 git clone [email protected]:thuiar/TEXTOIR.git
cd TEXTOIR
cd open_intent_detection

Installieren Sie zugehörige Umgebungsabhängigkeiten

 pip install -r requirements.txt

Beispiele ausführen (Nehmen Sie ADB als Beispiel)

 sh examples/run_ADB.sh

Beachten Sie, dass Sie das vorab trainierte Modell selbst herunterladen müssen, wenn Sie es nicht direkt von den HuggingFace-Transformern herunterladen können. Unter folgendem Link stellen wir das vorab trainierte Bert-Modell zur Verfügung:
Baidu Cloud Drive mit Code: v8tk

Erweiterbarkeit

Dieses Toolkit ist erweiterbar und unterstützt das bequeme Hinzufügen neuer Methoden, Datensätze, Konfigurationen, Backbones, Datenlader und Verluste. Genauere Informationen finden Sie in den Tutorials der Verzeichnisse open_intent_detection und open_intent_discovery.

Zitate

Wenn diese Arbeit hilfreich ist oder Sie die Codes und Ergebnisse in diesem Repo verwenden möchten, zitieren Sie bitte die folgenden Dokumente:

TEXTOIR: Eine integrierte und visualisierte Plattform für die Text-Open-Intent-Erkennung
Erlernen diskriminierender Darstellungen und Entscheidungsgrenzen für die Erkennung offener Absichten
Ein Clustering-Framework für die unbeaufsichtigte und halbüberwachte Erkennung neuer Absichten

 @inproceedings{zhang-etal-2021-textoir,
    title = "{TEXTOIR}: An Integrated and Visualized Platform for Text Open Intent Recognition",
    author = "Zhang, Hanlei  and Li, Xiaoteng  and Xu, Hua  and Zhang, Panpan and Zhao, Kang  and Gao, Kai",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations",
    pages = "167--174",
    year = "2021",
    url = "https://aclanthology.org/2021.acl-demo.20",
    doi = "10.18653/v1/2021.acl-demo.20",
}

 @article{DA-ADB, 
    title = {Learning Discriminative Representations and Decision Boundaries for Open Intent Detection},  
    author = {Zhang, Hanlei and Xu, Hua and Zhao, Shaojie and Zhou, Qianrui}, 
    journal = {IEEE/ACM Transactions on Audio, Speech, and Language Processing},  
    volume = {31},
    pages = {1611-1623},
    year = {2023}, 
    doi = {10.1109/TASLP.2023.3265203} 
}

 @ARTICLE{USNID,
  author={Zhang, Hanlei and Xu, Hua and Wang, Xin and Long, Fei and Gao, Kai},
  journal={IEEE Transactions on Knowledge and Data Engineering}, 
  title={A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery}, 
  year={2023},
  doi={10.1109/TKDE.2023.3340732}
}

Mitwirkende

Hanlei Zhang, Shaojie Zhao, Xin Wang, Ting-En Lin, Qianrui Zhou, Huisheng Mao.

Fehler oder Fragen?

Wenn Sie Fragen haben, öffnen Sie bitte Issues und stellen Sie Ihre Probleme so detailliert wie möglich dar. Wenn Sie Ihre Methode in unser Repo integrieren möchten, können Sie gerne eine Pull-Anfrage senden!

Expandieren

Zusätzliche Informationen