TEXTOIR
1.0.0
TEXTOIR — первая высококачественная платформа распознавания открытых намерений текста. Этот репозиторий содержит удобный набор инструментов с расширяемыми интерфейсами, объединяющий ряд современных алгоритмов двух задач (обнаружение открытых намерений и обнаружение открытых намерений). Мы также публикуем фреймворк конвейера и визуализированную платформу в репозитории TEXTOIR-DEMO.
TEXTOIR стремится предоставить исследователям удобный набор инструментов для воспроизведения связанных методов открытой классификации и кластеризации связанного текста. Он содержит две задачи, которые определяются как обнаружение открытых намерений и обнаружение открытых намерений. Обнаружение открытых намерений направлено на идентификацию известных намерений n-класса и обнаружение открытых намерений одного класса. Открытие намерений направлено на использование ограниченных предварительных знаний об известных намерениях для поиска детально известных и открытых по намерениям кластеров. Соответствующие статьи и кодексы собраны в нашем предыдущем опубликованном списке литературы.
Открытое распознавание намерений: 
| Дата | Объявления |
|---|---|
| 12/2023 | ? ? Новая статья и SOTA в Open Intent Discovery. Коды см. в каталоге USNID. Прочтите статью — Структура кластеризации для неконтролируемого и полуконтролируемого обнаружения новых намерений (опубликовано в IEEE TKDE 2023). |
| 04/2023 | ? ? Новая статья и SOTA в обнаружении открытых намерений. Коды см. в каталоге DA-ADB. Прочтите статью — Изучение дискриминативных представлений и границ принятия решений для обнаружения открытых намерений (опубликовано в IEEE/ACM TASLP 2023). |
| 09/2021 | ? ? Выпущена первая интегрированная и визуализированная платформа для распознавания текста Open Intent Recognition TEXTOIR. Демонстрационные коды см. в каталоге TEXTOIR-DEMO. Прочтите нашу статью TEXTOIR: интегрированная и визуализированная платформа для распознавания открытых намерений текста (опубликовано в ACL 2021). |
| 05/2021 | Опубликованы новый документ и базовые показатели DeepAligned в Open Intent Discovery. Прочтите нашу статью «Открытие новых намерений с помощью глубокой кластеризации» (опубликовано в AAAI 2021). |
| 05/2021 | Опубликованы новый документ и базовые показатели АБР по обнаружению открытых намерений. Прочтите нашу статью «Классификация глубоких открытых намерений с границей адаптивного решения» (опубликована в AAAI 2021). |
| 05/2020 | Опубликован новый документ и базовые версии CDAC+ в Open Intent Discovery. Прочтите нашу статью «Открытие новых намерений с помощью ограниченной глубокой адаптивной кластеризации с уточнением кластера» (опубликовано в AAAI 2020). |
| 07/2019 | Опубликованы новый документ и базовые показатели DeepUNK в области обнаружения открытых намерений. Прочтите нашу статью «Глубокое обнаружение неизвестных намерений с потерей маржи» (опубликовано в ACL 2019). |
Мы настоятельно рекомендуем вам использовать наш набор инструментов TEXTOIR, который имеет стандартные и унифицированные интерфейсы (особенно настройки данных) для получения достоверных и убедительных результатов на наборах данных для эталонных целей!
| Наборы данных | Источник |
|---|---|
| БАНКОВСКОЕ ДЕЛО | Бумага |
| ООС / КЛИНК150 | Бумага |
| StackOverflow | Бумага |
| Название модели | Источник | Опубликовано |
|---|---|---|
| ОпенМакс* | Бумажный код | ЦВПР 2016 |
| MSP | Бумажный код | ИКЛР 2017 |
| ДОКТОР | Бумажный код | ЭМНЛП 2017 |
| ДипУнк | Бумажный код | АКЛ 2019 |
| СЭГ | Бумажный код | АКЛ 2020 |
| АБР | Бумажный код | АААИ 2021 |
| (К+1)-путь | Бумажный код | АКЛ 2021 |
| МДФ | Бумажный код | АКЛ 2021 |
| АРПЛ* | Бумажный код | IEEE ТПАМИ 2022 |
| КННКЛ | Бумажный код | АКЛ 2022 |
| ДА-АБР | Бумажный код | IEEE/ACM TASLP 2023 г. |
| Параметр | Название модели | Источник | Опубликовано |
|---|---|---|---|
| Без присмотра | км | Бумага | БСМП 1967г. |
| Без присмотра | АГ | Бумага | ПР 1978 г. |
| Без присмотра | САЭ-КМ | Бумага | ЯМЛР 2010 |
| Без присмотра | Декабрь | Бумажный код | МКМЛ 2016 |
| Без присмотра | DCN | Бумажный код | МКМЛ 2017 |
| Без присмотра | СС | Бумажный код | АААИ 2021 |
| Без присмотра | СККЛ | Бумажный код | НААКЛ 2021 |
| Без присмотра | УСНИД | Бумажный код | IEEE ТКДЕ 2023 |
| Полуконтролируемый | ККЛ* | Бумажный код | ИКЛР 2018 |
| Полуконтролируемый | MCL* | Бумажный код | ИКЛР 2019 |
| Полуконтролируемый | ДКН* | Бумажный код | ICCV 2019 |
| Полуконтролируемый | CDAC+ | Бумажный код | АААИ 2020 |
| Полуконтролируемый | DeepAligned | Бумажный код | АААИ 2021 |
| Полуконтролируемый | НОД | Бумажный код | ЦВПР 2022 |
| Полуконтролируемый | МТП-КЛНН | Бумажный код | АКЛ 2022 |
| Полуконтролируемый | УСНИД | Бумажный код | IEEE ТКДЕ 2023 |
(* обозначает модель CV, замененную магистралью BERT)
conda create --name textoir python=3.6
conda activate textoir
conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch -c conda-forge
git clone [email protected]:thuiar/TEXTOIR.git
cd TEXTOIR
cd open_intent_detection
pip install -r requirements.txt
sh examples/run_ADB.sh
Этот набор инструментов является расширяемым и поддерживает удобное добавление новых методов, наборов данных, конфигураций, магистралей, загрузчиков данных и потерь. Более подробную информацию можно увидеть в туториалах каталогов open_intent_detection и open_intent_discovery.
Если эта работа полезна или вы хотите использовать коды и результаты из этого репозитория, цитируйте следующие документы:
@inproceedings{zhang-etal-2021-textoir,
title = "{TEXTOIR}: An Integrated and Visualized Platform for Text Open Intent Recognition",
author = "Zhang, Hanlei and Li, Xiaoteng and Xu, Hua and Zhang, Panpan and Zhao, Kang and Gao, Kai",
booktitle = "Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations",
pages = "167--174",
year = "2021",
url = "https://aclanthology.org/2021.acl-demo.20",
doi = "10.18653/v1/2021.acl-demo.20",
}
@article{DA-ADB,
title = {Learning Discriminative Representations and Decision Boundaries for Open Intent Detection},
author = {Zhang, Hanlei and Xu, Hua and Zhao, Shaojie and Zhou, Qianrui},
journal = {IEEE/ACM Transactions on Audio, Speech, and Language Processing},
volume = {31},
pages = {1611-1623},
year = {2023},
doi = {10.1109/TASLP.2023.3265203}
}
@ARTICLE{USNID,
author={Zhang, Hanlei and Xu, Hua and Wang, Xin and Long, Fei and Gao, Kai},
journal={IEEE Transactions on Knowledge and Data Engineering},
title={A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery},
year={2023},
doi={10.1109/TKDE.2023.3340732}
}
Ханьлей Чжан, Шаоцзе Чжао, Синь Ван, Тин-Энь Линь, Цяньруй Чжоу, Хуэйшэн Мао.
Если у вас есть вопросы, пожалуйста, открывайте вопросы и как можно подробнее описывайте свои проблемы. Если вы хотите интегрировать свой метод в наш репозиторий, пожалуйста, отправьте запрос !
