fuzi nlu

FUZI NLU

?️ Chatbot –夫子Modul „Verstehen natürlicher Sprache“.

1 Einleitung

夫子Chatbot besteht aus 7 Modulen:

1. fuzi-bot: Chat-Schnittstellenmodul zur Interaktion mit Benutzern.
2. fuzi-bot-api: Chat-Schnittstellenmodul, kommuniziert mit anderen Backend-Modulen.
3. fuzi-nlu: Modul zur Verarbeitung natürlicher Sprache zum Verstehen von Benutzerfragen.
4. fuzi: Dialogmanagementmodul zur Ableitung von Benutzerabsichten.
5. fuzi-admin: Backend-Verwaltungsmodul zur Verwaltung der Robotereinstellungen.
6. fuzi-admin-api: Backend-Verwaltungsschnittstelle zur Kommunikation mit anderen Backend-Modulen.
7. fuzi-mark: Datenanmerkungsmodul, Markieren von Benutzerfragen.

Es gibt zwei gängige Arten von Chatbots:

1. open domain vom Typ Chat
2. task oriented

Dieses Projekt gehört zum zweiten Typ, einem aufgabenorientierten Chatbot. Eine häufige Anwendung dieses Robotertyps ist der intelligente Kundenservice, der darauf abzielt, die klaren Bedürfnisse der Benutzer zu lösen .

Das Bild oben zeigt den allgemeinen Prozess eines aufgabenorientierten Chat-Roboters. Das Projekt implementiert derzeit den ersten Teil der NLU -Funktion, einschließlich Slot Filling und Intent Prediction .

2 Vorschau

>>Klicken Sie auf mich, um es jetzt auszuprobieren<<

3 Daten

3.1 Datensatz

1. guotie : Der Hauptinhalt dieses Datensatzes betrifft锅贴meiner Familie, und es wird nur die Absichtserkennungsfunktion verwendet.
2. weather : Ein öffentlicher chinesischer Datensatz zum Wetter, der auf Github gefunden wurde.
3. fewjoint : SMP2020.

3.2 Datenanmerkung

Zur Annotation wird hier das RASA-Open-Source-Annotationstool RASA-NLU-Trainer verwendet.

Ich habe eine Kopie online bereitgestellt und kann sie direkt verwenden.

Nachdem die Annotation abgeschlossen ist, muss das Format konvertiert werden, bevor es verwendet werden kann. Nehmen Sie hier /back/data/guotie.json als Beispiel:

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 Legen Sie schnell los

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 Bereitstellung

5.1 Docker

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 Kubernetes

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

6 andere

6.1 Trainieren Sie das Modell neu

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 QPS-Test

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089 

7 Referenzen

• Zusammenfassung der dynamischen seq2seq-Nutzung von Tensorflow (r1.3)
• Aufmerksamkeitsbasierte wiederkehrende neuronale Netzwerkmodelle zur Erkennung gemeinsamer Absichten und zum Füllen von Slots
• BERT für Joint Intent Classification und Slot Filling
• Von „Verbindung“ zu „Interaktion“ – Alibabas intelligente Dialog-Interaktionspraxis und Reflexionen
• Ein frustrierend einfacher Ansatz für die Extraktion gemeinsamer Entitäten und Beziehungen
• FewJoint: Ein Few-Shot-Lern-Benchmark für das gemeinsame Sprachverständnis

8 Lizenzen

9 Kommunikation

Bitte fügen Sie die WeChat-ID hinzu: Ailln_ , Vermerk „fuzi“, ich lade Sie ein, der Kommunikationsgruppe beizutreten.