fuzi nlu

ฟูซี่ เอ็นแอลยู

️ Chatbot - โมดูล "ความเข้าใจภาษาธรรมชาติ" ของ夫子

1 บทนำ

夫子chatbot ประกอบด้วย 7 โมดูล:

1. fuzi-bot: โมดูลอินเทอร์เฟซการแชทเพื่อโต้ตอบกับผู้ใช้
2. fuzi-bot-api: โมดูลอินเทอร์เฟซการแชท สื่อสารกับโมดูลส่วนหลังอื่น ๆ
3. fuzi-nlu: โมดูลประมวลผลภาษาธรรมชาติเพื่อทำความเข้าใจคำถามของผู้ใช้
4. fuzi: โมดูลการจัดการบทสนทนาเพื่ออนุมานความตั้งใจของผู้ใช้
5. fuzi-admin: โมดูลการจัดการแบ็กเอนด์เพื่อจัดการการตั้งค่าหุ่นยนต์
6. fuzi-admin-api: อินเทอร์เฟซการจัดการแบ็กเอนด์เพื่อสื่อสารกับโมดูลแบ็กเอนด์อื่นๆ
7. fuzi-mark: โมดูลคำอธิบายประกอบข้อมูล ทำเครื่องหมายคำถามของผู้ใช้

Chatbot ทั่วไปมีสองประเภท:

1. open domain ประเภทแชท
2. task oriented

โปรเจ็กต์นี้เป็นของประเภทที่สอง ซึ่งเป็นแชทบอตที่เน้นงาน การใช้งานทั่วไปของหุ่นยนต์ประเภทนี้คือการบริการลูกค้าอัจฉริยะ ซึ่งมีจุดมุ่งหมายเพื่อแก้ไขความต้องการที่ชัดเจนของผู้ใช้

รูปภาพด้านบนแสดงกระบวนการทั่วไปของหุ่นยนต์แชทที่มุ่งเน้นงาน ปัจจุบันโครงการใช้ส่วนแรกของฟังก์ชัน NLU รวมถึง Slot Filling และ Intent Prediction

2 ตัวอย่าง

>>คลิกฉันเพื่อลองตอนนี้<<

3 ข้อมูล

3.1 ชุดข้อมูล

1. guotie : เนื้อหาหลักของชุดข้อมูลนี้เกี่ยวกับ锅贴ของครอบครัวฉัน และใช้เฉพาะฟังก์ชันการจดจำเจตนาเท่านั้น
2. weather : ชุดข้อมูลสาธารณะของจีนเกี่ยวกับสภาพอากาศที่พบใน Github
3. fewjoint : SMP2020.

3.2 คำอธิบายประกอบข้อมูล

เครื่องมือคำอธิบายประกอบแบบโอเพ่นซอร์ส RASA RASA-NLU-Trainer ใช้สำหรับคำอธิบายประกอบที่นี่

ฉันได้ปรับใช้สำเนาออนไลน์แล้วและสามารถใช้งานได้โดยตรง

หลังจากที่คำอธิบายประกอบเสร็จสิ้นแล้ว จะต้องแปลงรูปแบบก่อนจึงจะสามารถใช้งานได้ ให้ใช้ /back/data/guotie.json เป็นตัวอย่าง:

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 เริ่มต้นอย่างรวดเร็ว

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 การปรับใช้

5.1 นักเทียบท่า

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 คูเบอร์เนทีส

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

อีก 6 คน

6.1 ฝึกโมเดลใหม่

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 การทดสอบคิวพีเอส

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089 

7 ข้อมูลอ้างอิง

• สรุปการใช้งาน Tensorflow ไดนามิก seq2seq (r1.3)
• โมเดลโครงข่ายประสาทเทียมแบบเกิดซ้ำตามความสนใจสำหรับการตรวจจับเจตนาร่วมและการเติมสล็อต
• BERT สำหรับการจำแนกเจตนาร่วมและการเติมช่อง
• จาก "การเชื่อมต่อ" สู่ "ปฏิสัมพันธ์"—การฝึกปฏิบัติและการไตร่ตรองปฏิสัมพันธ์ในบทสนทนาอันชาญฉลาดของอาลีบาบา
• แนวทางที่ง่ายอย่างน่าหงุดหงิดสำหรับการแยกเอนทิตีร่วมและการแยกความสัมพันธ์
• FewJoint: เกณฑ์มาตรฐานการเรียนรู้เพียงไม่กี่ช็อตสำหรับการทำความเข้าใจภาษาร่วม

8 ใบอนุญาต

9 การสื่อสาร

กรุณาเพิ่ม WeChat ID: Ailln_ หมายเหตุ "fuzi" ฉันขอเชิญคุณเข้าร่วมกลุ่มการสื่อสาร