fuzi nlu

FUZI NLU

?️ Chatbot - módulo de “compreensão de linguagem natural” do夫子.

1 Introdução

O chatbot夫子consiste em 7 módulos:

1. fuzi-bot: Módulo de interface de chat para interagir com os usuários.
2. fuzi-bot-api: Módulo de interface de chat, comunica-se com outros módulos back-end.
3. fuzi-nlu: Módulo de processamento de linguagem natural para entender as dúvidas dos usuários.
4. fuzi: Módulo de gerenciamento de diálogo para inferir as intenções do usuário.
5. fuzi-admin: Módulo de gerenciamento de backend para gerenciar as configurações do robô.
6. fuzi-admin-api: Interface de gerenciamento de backend para comunicação com outros módulos de backend.
7. fuzi-mark: Módulo de anotação de dados, marcando dúvidas do usuário.

Existem dois tipos comuns de chatbots:

1. Tipo de bate-papo open domain
2. task oriented

Este projeto pertence ao segundo tipo, que é um chatbot orientado a tarefas. Uma aplicação comum desse tipo de robô é o atendimento inteligente ao cliente, que visa solucionar as necessidades claras dos usuários .

A imagem acima mostra o processo geral de um robô de bate-papo orientado a tarefas. O projeto atualmente implementa a primeira parte da função NLU , incluindo Slot Filling e Intent Prediction .

2 visualização

>>Clique em mim para experimentar agora<<

3 dados

3.1 Conjunto de dados

1. guotie : O conteúdo principal deste conjunto de dados é sobre锅贴da minha família e apenas a função de reconhecimento de intenção é usada.
2. weather : um conjunto de dados públicos chineses sobre o clima encontrado no Github.
3. fewjoint : SMP2020.

3.2 Anotação de dados

A ferramenta de anotação de código aberto RASA RASA-NLU-Trainer é usada aqui para anotação.

Implantei uma cópia online e posso usá-la diretamente.

Após a conclusão da anotação, o formato precisa ser convertido antes de poder ser usado. Aqui, tome /back/data/guotie.json como exemplo:

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 Comece rapidamente

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 Implantação

5.1 Janela de encaixe

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 Kubernetes

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

6 outros

6.1 Treine novamente o modelo

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 Teste QPS

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089 

7 Referências

• Resumo de uso do seq2seq dinâmico do Tensorflow (r1.3)
• Modelos de redes neurais recorrentes baseados em atenção para detecção de intenção conjunta e preenchimento de slot
• BERT para classificação de intenção conjunta e preenchimento de slot
• Da “conexão” à “interação” – práticas e reflexões de interação de diálogo inteligente do Alibaba
• Uma abordagem frustrantemente fácil para extração conjunta de entidades e relações
• FewJoint: uma referência de aprendizagem rápida para compreensão conjunta de idiomas

8 licenças

9 comunicação

Por favor, adicione o ID do WeChat: Ailln_ , observação "fuzi", convido você a se juntar ao grupo de comunicação.