fuzi nlu

فوزي NLU

️ Chatbot - وحدة "فهم اللغة الطبيعية" لـ夫子.

1 مقدمة

يتكون夫子chatbot من 7 وحدات:

1. Fuzi-bot: وحدة واجهة الدردشة للتفاعل مع المستخدمين.
2. Fuzi-bot-api: وحدة واجهة الدردشة، تتواصل مع الوحدات الخلفية الأخرى.
3. Fuzi-nlu: وحدة معالجة اللغة الطبيعية لفهم أسئلة المستخدم.
4. فوزي: وحدة إدارة الحوار لاستنتاج نوايا المستخدم.
5. fuzi-admin: وحدة إدارة الواجهة الخلفية لإدارة إعدادات الروبوت.
6. Fuzi-admin-api: واجهة إدارة الواجهة الخلفية للتواصل مع وحدات الواجهة الخلفية الأخرى.
7. Fuzi-mark: وحدة شرح البيانات، ووضع علامات على أسئلة المستخدم.

هناك نوعان شائعان من برامج الدردشة الآلية:

1. نوع الدردشة open domain
2. task oriented

ينتمي هذا المشروع إلى النوع الثاني، وهو روبوت الدردشة الموجه نحو المهام. أحد التطبيقات الشائعة لهذا النوع من الروبوتات هو خدمة العملاء الذكية، والتي تهدف إلى حل الاحتياجات الواضحة للمستخدمين .

توضح الصورة أعلاه العملية العامة لروبوت الدردشة الموجه نحو المهام. يقوم المشروع حاليًا بتنفيذ الجزء الأول من وظيفة NLU ، بما في ذلك Slot Filling Intent Prediction .

2 معاينة

>>انقر فوقي للمحاولة الآن<<

3 بيانات

3.1 مجموعة البيانات

1. guotie : المحتوى الرئيسي لمجموعة البيانات هذه يدور حول锅贴عائلتي، ويتم استخدام وظيفة التعرف على النية فقط.
2. weather : مجموعة بيانات عامة صينية عن الطقس موجودة على جيثب.
3. fewjoint : SMP2020.

3.2 شرح البيانات

يتم استخدام أداة التعليقات التوضيحية مفتوحة المصدر RASA RASA-NLU-Trainer هنا للتعليقات التوضيحية.

لقد قمت بنشر نسخة عبر الإنترنت ويمكنني استخدامها مباشرة.

بعد اكتمال التعليق التوضيحي، يجب تحويل التنسيق قبل استخدامه، خذ هنا /back/data/guotie.json كمثال:

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 ابدأ بسرعة

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 النشر

5.1 عامل الميناء

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 كوبيرنيت

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

6 آخرين

6.1 إعادة تدريب النموذج

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 اختبار QPS

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089 

7 مراجع

• ملخص استخدام Tensorflow seq2seq الديناميكي (r1.3)
• نماذج الشبكة العصبية المتكررة القائمة على الاهتمام للكشف عن النوايا المشتركة وملء الفتحات
• BERT لتصنيف النوايا المشتركة وملء الفتحات
• من "الاتصال" إلى "التفاعل" - ممارسة وتأملات تفاعل الحوار الذكي على بابا
• نهج سهل محبط للكيان المشترك واستخراج العلاقات
• FewJoint: معيار تعليمي قليل لفهم اللغة المشتركة

8 تراخيص

9 الاتصالات

الرجاء إضافة معرف WeChat: Ailln_ ، ملاحظة "fuzi"، أدعوك للانضمام إلى مجموعة التواصل.