FUZI NLU

?️ Chatbot: módulo de “comprensión del lenguaje natural” de夫子.

1 Introducción

El chatbot夫子consta de 7 módulos:

fuzi-bot: Módulo de interfaz de chat para interactuar con los usuarios.
fuzi-bot-api: módulo de interfaz de chat, se comunica con otros módulos de back-end.
fuzi-nlu: Módulo de procesamiento del lenguaje natural para comprender las preguntas de los usuarios.
fuzi: Módulo de gestión de diálogos para inferir las intenciones del usuario.
fuzi-admin: módulo de gestión backend para gestionar la configuración del robot.
fuzi-admin-api: Interfaz de administración de backend para comunicarse con otros módulos de backend.
fuzi-mark: Módulo de anotación de datos, marcando preguntas de los usuarios.

estructura

Hay dos tipos comunes de chatbots:

open domain tipo chat
task oriented

Este proyecto pertenece al segundo tipo, que es un chatbot orientado a tareas. Una aplicación habitual de este tipo de robots es la atención al cliente inteligente, que pretende solucionar las necesidades claras de los usuarios .

fluir

La imagen de arriba muestra el proceso general de un robot de chat orientado a tareas. El proyecto actualmente implementa la primera parte de la función NLU , incluido Slot Filling y Intent Prediction .

2 vista previa

Avance

>>Haz clic en mí para probar ahora<<

3 datos

3.1 Conjunto de datos

guotie : El contenido principal de este conjunto de datos es sobre锅贴de mi familia y solo se utiliza la función de reconocimiento de intención.
weather : un conjunto de datos públicos chinos sobre el clima que se encuentra en Github.
fewjoint : SMP2020.

3.2 Anotación de datos

Aquí se utiliza la herramienta de anotación de código abierto RASA RASA-NLU-Trainer para la anotación.

He implementado una copia en línea y puedo usarla directamente.

Una vez completada la anotación, es necesario convertir el formato antes de poder utilizarlo. Aquí, tome /back/data/guotie.json como ejemplo:

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 Comience rápidamente

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 Despliegue

5.1 Ventana acoplable

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 Kubernetes

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

6 otros

6.1 Volver a entrenar el modelo

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 Prueba QPS

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089

7 referencias

Resumen de uso dinámico de Tensorflow seq2seq (r1.3)
Modelos de redes neuronales recurrentes basados en la atención para la detección de intenciones conjuntas y el llenado de espacios
BERT para clasificación de intención conjunta y llenado de espacios
De la “conexión” a la “interacción”: reflexiones y prácticas de interacción de diálogo inteligente de Alibaba
Un enfoque frustrantemente sencillo para la extracción conjunta de entidades y relaciones
FewJoint: un punto de referencia de aprendizaje de pocas posibilidades para la comprensión conjunta del lenguaje