TEXTOIR

TEXTO Reconocimiento de intención abierta (TEXTOIR)

TEXTOIR es la primera plataforma de reconocimiento de intención abierta de texto de alta calidad. Este repositorio contiene un conjunto de herramientas conveniente con interfaces extensibles, que integra una serie de algoritmos de última generación de dos tareas (detección de intenciones abiertas y descubrimiento de intenciones abiertas). También lanzamos el marco del pipeline y la plataforma visualizada en el repositorio TEXTOIR-DEMO.

Introducción

TEXTOIR tiene como objetivo proporcionar un conjunto de herramientas conveniente para que los investigadores reproduzcan los métodos de agrupación y clasificación abierta de textos relacionados. Contiene dos tareas, que se definen como detección de intenciones abiertas y descubrimiento de intenciones abiertas. La detección de intenciones abiertas tiene como objetivo identificar intenciones conocidas de n clases y detectar intenciones abiertas de una clase. El descubrimiento de intenciones abiertas tiene como objetivo aprovechar el conocimiento previo limitado de las intenciones conocidas para encontrar grupos detallados de intenciones abiertas y conocidas. Los artículos y códigos relacionados se recopilan en nuestra lista de lectura publicada anteriormente.

Reconocimiento de intención abierta:

Actualizaciones

Fecha	Anuncios
12/2023	? ? Nuevo artículo y SOTA en Open Intent Discovery. Consulte el directorio USNID para conocer los códigos. Lea el documento: Un marco de agrupación para el descubrimiento de nuevas intenciones no supervisadas y semisupervisadas (publicado en IEEE TKDE 2023).
04/2023	? ? Nuevo artículo y SOTA en Detección de Intención Abierta. Consulte el directorio DA-ADB para conocer los códigos. Lea el artículo: Aprendizaje de representaciones discriminativas y límites de decisión para la detección de intenciones abiertas (publicado en IEEE/ACM TASLP 2023).
09/2021	? ? Se ha lanzado la primera plataforma integrada y visualizada para reconocimiento de intención abierta de texto, TEXTOIR. Consulte el directorio TEXTOIR-DEMO para obtener los códigos de demostración. Lea nuestro artículo TEXTOIR: una plataforma integrada y visualizada para el reconocimiento de intención abierta de texto (publicado en ACL 2021).
05/2021	Se han publicado nuevos artículos y líneas de base DeepAligned in Open Intent Discovery. Lea nuestro artículo Descubriendo nuevos intentos con agrupaciones profundamente alineadas (publicado en AAAI 2021).
05/2021	Se han publicado nuevos artículos y líneas de base ADB en Open Intent Detección. Lea nuestro artículo Clasificación de intención abierta profunda con límite de decisión adaptativo (publicado en AAAI 2021).
05/2020	Se han publicado nuevos artículos y líneas de base CDAC+ en Open Intent Discovery. Lea nuestro artículo Descubriendo nuevos intentos mediante agrupación adaptativa profunda restringida con refinamiento de clústeres (publicado en AAAI 2020).
07/2019	Se han publicado nuevos artículos y líneas de base de DeepUNK en detección de intenciones abiertas. Lea nuestro artículo Detección profunda de intenciones desconocidas con pérdida de margen (publicado en ACL 2019).

---

Le recomendamos encarecidamente que utilice nuestro kit de herramientas TEXTOIR, que tiene interfaces estándar y unificadas (especialmente configuración de datos) para obtener resultados justos y convincentes en conjuntos de datos de intención de referencia.

Conjuntos de datos de referencia

Conjuntos de datos	Fuente
BANCARIO	Papel
OOS / CLINC150	Papel
Desbordamiento de pila	Papel

Modelos integrados

Detección de intención abierta

Nombre del modelo	Fuente	Publicado
AbiertoMax*	Código de papel	CVPR 2016
MSP	Código de papel	ICLR 2017
DOC	Código de papel	EMNLP 2017
DeepUnk	Código de papel	ACL 2019
SEG	Código de papel	ACL 2020
BAsD	Código de papel	AAAI 2021
(K+1)-vía	Código de papel	ACL 2021
MDF	Código de papel	ACL 2021
ARPL*	Código de papel	IEEE TPAMI 2022
KNNCL	Código de papel	ACL 2022
DA-ADB	Código de papel	IEEE/ACM TASLP 2023

Descubrimiento de nueva intención

Configuración	Nombre del modelo	Fuente	Publicado
sin supervisión	km	Papel	BSMSP 1967
sin supervisión	AG	Papel	PR 1978
sin supervisión	SAE-KM	Papel	JMLR 2010
sin supervisión	DIC	Código de papel	ICML 2016
sin supervisión	DCN	Código de papel	ICML 2017
sin supervisión	CC	Código de papel	AAAI 2021
sin supervisión	SCCL	Código de papel	NAACL 2021
sin supervisión	USNID	Código de papel	IEEE TKDE 2023
Semi-supervisado	CLK*	Código de papel	ICLR 2018
Semi-supervisado	MCL*	Código de papel	ICLR 2019
Semi-supervisado	DTC*	Código de papel	ICCV 2019
Semi-supervisado	CDAC+	Código de papel	AAAI 2020
Semi-supervisado	Profundo alineado	Código de papel	AAAI 2021
Semi-supervisado	MCD	Código de papel	CVPR 2022
Semi-supervisado	MTP-CLNN	Código de papel	ACL 2022
Semi-supervisado	USNID	Código de papel	IEEE TKDE 2023

(* indica el modelo CV reemplazado por la columna vertebral BERT)

Inicio rápido

1. Utilice anaconda para crear un entorno Python (versión >= 3.6)

 conda create --name textoir python=3.6
conda activate textoir

2. Instale PyTorch (Cuda versión 11.2)

 conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch -c conda-forge  

3. Clone el repositorio TEXTOIR y elija la tarea (tome la detección de intención abierta como ejemplo).

 git clone [email protected]:thuiar/TEXTOIR.git
cd TEXTOIR
cd open_intent_detection

4. Instalar dependencias ambientales relacionadas

 pip install -r requirements.txt

5. Ejecutar ejemplos (tome ADB como ejemplo)

 sh examples/run_ADB.sh

• Tenga en cuenta que si no puede descargar el modelo previamente entrenado directamente desde los transformadores HuggingFace, deberá descargarlo usted mismo. Proporcionamos el modelo bert previamente entrenado en el siguiente enlace:
  Baidu Cloud Drive con código: v8tk

Extensibilidad

Este conjunto de herramientas es extensible y admite la adición conveniente de nuevos métodos, conjuntos de datos, configuraciones, redes troncales, cargadores de datos y pérdidas. Se puede ver información más detallada en los tutoriales de los directorios open_intent_detection y open_intent_discovery.

Citas

Si este trabajo es útil o desea utilizar los códigos y resultados de este repositorio, cite los siguientes artículos:

• TEXTOIR: una plataforma integrada y visualizada para el reconocimiento de intención abierta de texto
• Aprendizaje de representaciones discriminativas y límites de decisión para la detección de intenciones abiertas
• Un marco de agrupación para el descubrimiento de nuevas intenciones no supervisadas y semisupervisadas

 @inproceedings{zhang-etal-2021-textoir,
    title = "{TEXTOIR}: An Integrated and Visualized Platform for Text Open Intent Recognition",
    author = "Zhang, Hanlei  and Li, Xiaoteng  and Xu, Hua  and Zhang, Panpan and Zhao, Kang  and Gao, Kai",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations",
    pages = "167--174",
    year = "2021",
    url = "https://aclanthology.org/2021.acl-demo.20",
    doi = "10.18653/v1/2021.acl-demo.20",
}

 @article{DA-ADB, 
    title = {Learning Discriminative Representations and Decision Boundaries for Open Intent Detection},  
    author = {Zhang, Hanlei and Xu, Hua and Zhao, Shaojie and Zhou, Qianrui}, 
    journal = {IEEE/ACM Transactions on Audio, Speech, and Language Processing},  
    volume = {31},
    pages = {1611-1623},
    year = {2023}, 
    doi = {10.1109/TASLP.2023.3265203} 
} 

 @ARTICLE{USNID,
  author={Zhang, Hanlei and Xu, Hua and Wang, Xin and Long, Fei and Gao, Kai},
  journal={IEEE Transactions on Knowledge and Data Engineering}, 
  title={A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery}, 
  year={2023},
  doi={10.1109/TKDE.2023.3340732}
} 

Colaboradores

Hanlei Zhang, Shaojie Zhao, Xin Wang, Ting-En Lin, Qianrui Zhou, Huisheng Mao.

¿Errores o preguntas?

Si tiene alguna pregunta, abra los problemas e ilustre sus problemas lo más detalladamente posible. Si desea integrar su método en nuestro repositorio, ¡no dude en realizar la solicitud !