TEXTOIR 다운로드 - TEXTOIR 소스코드 다운로드

TEXTOIR

AI 소스 코드

1.0.0

다운로드

TEXT 개방형 의도 인식(TEXTOIR)

TEXTOIR은 최초의 고품질 텍스트 개방형 의도 인식 플랫폼입니다. 이 저장소에는 두 가지 작업(개방형 의도 감지 및 개방형 검색)에 대한 일련의 최첨단 알고리즘을 통합하는 확장 가능한 인터페이스를 갖춘 편리한 툴킷이 포함되어 있습니다. 또한 TEXTOIR-DEMO 저장소에 파이프라인 프레임워크와 시각화된 플랫폼을 출시합니다.

소개

TEXTOIR은 연구자들이 관련 텍스트 오픈 분류 및 클러스터링 방법을 재현할 수 있는 편의 툴킷을 제공하는 것을 목표로 합니다. 여기에는 개방형 의도 감지 및 개방형 의도 검색으로 정의되는 두 가지 작업이 포함되어 있습니다. 개방형 의도 탐지는 n-클래스 알려진 의도를 식별하고 단일 클래스 개방형 의도를 탐지하는 것을 목표로 합니다. 개방형 의도 검색은 알려진 의도에 대한 제한된 사전 지식을 활용하여 세분화된 알려진 개방형 의도별 클러스터를 찾는 것을 목표로 합니다. 관련 논문과 코드는 이전에 발표된 읽기 목록에 수집되어 있습니다.

개방형 의도 인식:
Example

업데이트

날짜	공지사항
2023년 12월	? ? Open Intent Discovery의 새로운 논문과 SOTA. 코드는 USNID 디렉터리를 참조하세요. 논문 읽기 - 비지도 및 반지도 새로운 의도 발견을 위한 클러스터링 프레임워크(IEEE TKDE 2023에 게시됨).
2023년 4월	? ? 개방형 의도 탐지에 관한 새로운 논문 및 SOTA. 코드는 DA-ADB 디렉토리를 참조하십시오. 개방형 의도 탐지를 위한 차별적 표현 및 결정 경계 학습(IEEE/ACM TASLP 2023에 게시됨) 논문을 읽어보세요.
2021년 9월	? ? 텍스트 개방형 의도 인식 TEXTOIR을 위한 최초의 통합 및 시각화 플랫폼이 출시되었습니다. 데모 코드는 TEXTOIR-DEMO 디렉토리를 참조하세요. 논문 TEXTOIR: 텍스트 개방형 의도 인식을 위한 통합 및 시각화 플랫폼(ACL 2021에 게시됨)을 읽어보세요.
2021년 5월	Open Intent Discovery의 새로운 논문과 DeepAligned 기준선이 출시되었습니다. 심층 정렬 클러스터링을 통한 새로운 의도 발견(AAAI 2021에 게시) 논문을 읽어보세요.
2021년 5월	개방형 의도 탐지의 새로운 문서와 기준선 ADB가 출시되었습니다. 적응형 결정 경계를 사용한 Deep Open Intent Classification(AAAI 2021에 게시) 논문을 읽어보세요.
2020년 5월	Open Intent Discovery의 새로운 문서와 기준선 CDAC+가 출시되었습니다. 클러스터 개선을 통한 제한된 심층 적응형 클러스터링을 통해 새로운 의도 발견(AAAI 2020에 게시) 논문을 읽어보세요.
2019년 7월	개방형 의도 탐지의 새로운 논문과 DeepUNK의 기준선이 공개되었습니다. 마진 손실을 통한 Deep Unknown Intent 감지(ACL 2019에 게시) 논문을 읽어보세요.

벤치마크 의도 데이터 세트에서 공정하고 설득력 있는 결과를 얻으려면 표준 및 통합 인터페이스(특히 데이터 설정)를 갖춘 TEXTOIR 툴킷을 사용하는 것이 좋습니다!

벤치마크 데이터세트

데이터세트	원천
은행업	종이
OOS / CLINC150	종이
스택오버플로우	종이

통합 모델

개방형 의도 감지

모델명	원천	게시됨
오픈맥스*	종이 코드	CVPR 2016
MSP	종이 코드	ICLR 2017
의사	종이 코드	EMNLP 2017
딥언크	종이 코드	ACL 2019
SEG	종이 코드	ACL 2020
ADB	종이 코드	AAAI 2021
(K+1) 방향	종이 코드	ACL 2021
MDF	종이 코드	ACL 2021
ARPL*	종이 코드	IEEE TPAMI 2022
KNNCL	종이 코드	ACL 2022
DA-ADB	종이 코드	IEEE/ACM TASLP 2023

새로운 의도 발견

환경	모델명	원천	게시됨
감독되지 않음	KM	종이	BSMSP 1967
감독되지 않음	AG	종이	홍보 1978
감독되지 않음	SAE-KM	종이	JMLR 2010
감독되지 않음	12월	종이 코드	ICML 2016
감독되지 않음	DCN	종이 코드	ICML 2017
감독되지 않음	CC	종이 코드	AAAI 2021
감독되지 않음	SCCL	종이 코드	NAACL 2021
감독되지 않음	USNID	종이 코드	IEEE TKDE 2023
준감독	KCL*	종이 코드	ICLR 2018
준감독	MCL*	종이 코드	ICLR 2019
준감독	DTC*	종이 코드	ICCV 2019
준감독	CDAC+	종이 코드	AAAI 2020
준감독	DeepAligned	종이 코드	AAAI 2021
준감독	GCD	종이 코드	CVPR 2022
준감독	MTP-CLNN	종이 코드	ACL 2022
준감독	USNID	종이 코드	IEEE TKDE 2023

(*는 BERT 백본으로 대체된 CV 모델을 나타냄)

빠른 시작

아나콘다를 사용하여 Python(버전 >= 3.6) 환경 생성

 conda create --name textoir python=3.6
conda activate textoir

PyTorch 설치(Cuda 버전 11.2)

 conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch -c conda-forge

TEXTOIR 저장소를 복제하고 작업을 선택합니다(예를 들어 개방형 의도 감지 사용).

 git clone [email protected]:thuiar/TEXTOIR.git
cd TEXTOIR
cd open_intent_detection

관련 환경 종속성 설치

 pip install -r requirements.txt

예제 실행(ADB를 예로 사용)

 sh examples/run_ADB.sh

HuggingFace 변환기에서 사전 학습된 모델을 직접 다운로드할 수 없는 경우 직접 다운로드해야 합니다. 다음 링크에서 사전 훈련된 bert 모델을 제공합니다.
코드가 포함된 Baidu 클라우드 드라이브: v8tk

확장성

이 툴킷은 확장 가능하며 새로운 방법, 데이터 세트, 구성, 백본, 데이터 로더, 손실을 편리하게 추가할 수 있도록 지원합니다. 더 자세한 정보는 open_intent_Detection 및 open_intent_discovery 디렉터리의 튜토리얼에서 볼 수 있습니다.

인용

이 작업이 도움이 되었거나 이 저장소의 코드와 결과를 사용하려면 다음 논문을 인용하십시오.

TEXTOIR: 텍스트 개방형 의도 인식을 위한 통합 및 시각화 플랫폼
개방형 의도 탐지를 위한 차별적 표현 및 결정 경계 학습
비지도 및 반지도 새로운 의도 발견을 위한 클러스터링 프레임워크

 @inproceedings{zhang-etal-2021-textoir,
    title = "{TEXTOIR}: An Integrated and Visualized Platform for Text Open Intent Recognition",
    author = "Zhang, Hanlei  and Li, Xiaoteng  and Xu, Hua  and Zhang, Panpan and Zhao, Kang  and Gao, Kai",
    booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations",
    pages = "167--174",
    year = "2021",
    url = "https://aclanthology.org/2021.acl-demo.20",
    doi = "10.18653/v1/2021.acl-demo.20",
}

 @article{DA-ADB, 
    title = {Learning Discriminative Representations and Decision Boundaries for Open Intent Detection},  
    author = {Zhang, Hanlei and Xu, Hua and Zhao, Shaojie and Zhou, Qianrui}, 
    journal = {IEEE/ACM Transactions on Audio, Speech, and Language Processing},  
    volume = {31},
    pages = {1611-1623},
    year = {2023}, 
    doi = {10.1109/TASLP.2023.3265203} 
}

 @ARTICLE{USNID,
  author={Zhang, Hanlei and Xu, Hua and Wang, Xin and Long, Fei and Gao, Kai},
  journal={IEEE Transactions on Knowledge and Data Engineering}, 
  title={A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery}, 
  year={2023},
  doi={10.1109/TKDE.2023.3340732}
}