fuzi nlu

FUZI NLU

?️ Chatbot - Modul "pemahaman bahasa alami"夫子.

1 Pendahuluan

Chatbot夫子terdiri dari 7 modul:

1. fuzi-bot: Modul antarmuka obrolan untuk berinteraksi dengan pengguna.
2. fuzi-bot-api: Modul antarmuka obrolan, berkomunikasi dengan modul back-end lainnya.
3. fuzi-nlu: Modul pemrosesan bahasa alami untuk memahami pertanyaan pengguna.
4. fuzi: Modul manajemen dialog untuk menyimpulkan niat pengguna.
5. fuzi-admin: Modul manajemen backend untuk mengelola pengaturan robot.
6. fuzi-admin-api: Antarmuka manajemen backend untuk berkomunikasi dengan modul backend lainnya.
7. fuzi-mark: Modul anotasi data, menandai pertanyaan pengguna.

Ada dua jenis chatbot yang umum:

1. Jenis obrolan open domain
2. task oriented

Proyek ini termasuk dalam tipe kedua, yaitu chatbot berorientasi tugas. Aplikasi umum dari robot jenis ini adalah layanan pelanggan cerdas, yang bertujuan untuk memenuhi kebutuhan jelas pengguna .

Gambar di atas menunjukkan proses umum robot obrolan berorientasi tugas. Proyek saat ini mengimplementasikan bagian pertama dari fungsi NLU , termasuk Slot Filling dan Intent Prediction .

2 pratinjau

>>Klik saya untuk mencoba sekarang<<

3 data

3.1 Kumpulan Data

1. guotie : Konten utama kumpulan data ini adalah tentang锅贴keluarga saya, dan hanya fungsi pengenalan niat yang digunakan.
2. weather : Kumpulan data publik Tiongkok tentang cuaca ditemukan di Github.
3. fewjoint : SMP2020.

3.2 Anotasi data

Alat anotasi sumber terbuka RASA RASA-NLU-Trainer digunakan di sini untuk anotasi.

Saya telah menyebarkan salinannya secara online dan dapat menggunakannya secara langsung.

Setelah anotasi selesai, format perlu dikonversi sebelum dapat digunakan. Di sini, ambil /back/data/guotie.json sebagai contoh:

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 Mulailah dengan cepat

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 Penempatan

5.1 buruh pelabuhan

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 Kubernet

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

6 lainnya

6.1 Melatih kembali model tersebut

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 Tes QPS

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089 

7 Referensi

• Ringkasan penggunaan seq2seq dinamis Tensorflow (r1.3)
• Model Jaringan Syaraf Berulang Berbasis Perhatian untuk Deteksi Niat Bersama dan Pengisian Slot
• BERT untuk Klasifikasi Maksud Bersama dan Pengisian Slot
• Dari “koneksi” ke “interaksi”—praktik dan refleksi interaksi dialog cerdas Alibaba
• Pendekatan yang Sangat Mudah untuk Ekstraksi Entitas dan Relasi Gabungan
• FewJoint: Tolok Ukur Pembelajaran Sekilas untuk Pemahaman Bahasa Bersama

8 lisensi

9 komunikasi

Silakan tambahkan ID WeChat: Ailln_ , komentar "fuzi", saya mengundang Anda untuk bergabung dengan grup komunikasi.