FUZI NLU

?️ Chatbot - Le module « compréhension du langage naturel » de夫子.

1 Introduction

Le chatbot夫子se compose de 7 modules :

fuzi-bot : Module d'interface de chat pour interagir avec les utilisateurs.
fuzi-bot-api : module d'interface de chat, communique avec d'autres modules back-end.
fuzi-nlu : Module de traitement du langage naturel pour comprendre les questions des utilisateurs.
fuzi : module de gestion des dialogues pour déduire les intentions des utilisateurs.
fuzi-admin : Module de gestion backend pour gérer les paramètres du robot.
fuzi-admin-api : Interface de gestion backend pour communiquer avec d'autres modules backend.
fuzi-mark : module d'annotation de données, marquage des questions des utilisateurs.

cadre

Il existe deux types courants de chatbots :

open domain de type chat
task oriented

Ce projet appartient au deuxième type, qui est un chatbot orienté tâches. Une application courante de ce type de robot est le service client intelligent, qui vise à répondre aux besoins clairs des utilisateurs .

couler

L'image ci-dessus montre le processus général d'un robot de discussion orienté tâches. Le projet implémente actuellement la première partie de la fonction NLU , y compris Slot Filling et Intent Prediction .

2 aperçu

Aperçu

>>Cliquez sur moi pour essayer maintenant<<

3 données

3.1 Ensemble de données

guotie : Le contenu principal de cet ensemble de données concerne锅贴de ma famille, et seule la fonction de reconnaissance d'intention est utilisée.
weather : Un ensemble de données publiques chinoises sur la météo trouvées sur Github.
fewjoint : SMP2020.

3.2 Annotation des données

L'outil d'annotation open source RASA RASA-NLU-Trainer est utilisé ici pour l'annotation.

J'ai déployé une copie en ligne et je peux l'utiliser directement.

Une fois l'annotation terminée, le format doit être converti avant de pouvoir être utilisé. Ici, prenons /back/data/guotie.json comme exemple :

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 Commencez rapidement

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 Déploiement

5.1 Docker

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 Kubernetes

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

6 autres

6.1 Recycler le modèle

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 Test QPS

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089

7 références

Résumé de l'utilisation de Tensorflow Dynamic Seq2seq (r1.3)
Modèles de réseaux neuronaux récurrents basés sur l'attention pour la détection d'intentions conjointes et le remplissage des emplacements
BERT pour la classification des intentions conjointes et le remplissage des emplacements
De la « connexion » à l’« interaction » : pratique et réflexions sur l’interaction et le dialogue intelligent d’Alibaba
Une approche d’une simplicité frustrante pour l’extraction d’entités conjointes et de relations
FewJoint : une référence d'apprentissage en quelques étapes pour la compréhension conjointe du langage