fuzi nlu

フジ・ヌルー

?️ チャットボット -夫子の「自然言語理解」モジュール。

1 はじめに

夫子チャットボットは 7 つのモジュールで構成されています。

1. fuzi-bot: ユーザーと対話するためのチャット インターフェイス モジュール。
2. fuzi-bot-api: チャット インターフェイス モジュール。他のバックエンド モジュールと通信します。
3. fuzi-nlu: ユーザーの質問を理解するための自然言語処理モジュール。
4. fuzi: ユーザーの意図を推測する対話管理モジュール。
5. fuzi-admin: ロボット設定を管理するバックエンド管理モジュール。
6. fuzi-admin-api: 他のバックエンド モジュールと通信するためのバックエンド管理インターフェイス。
7. fuzi-mark: データ注釈モジュール、ユーザーの質問をマークします。

チャットボットには一般的に 2 つのタイプがあります。

1. チャット型open domain
2. task oriented

このプロジェクトは 2 番目のタイプであるタスク指向のチャットボットに属します。このタイプのロボットの一般的な用途は、ユーザーの明確なニーズを解決することを目的としたインテリジェントな顧客サービスです。

上の図は、タスク指向のチャット ロボットの一般的なプロセスを示しています。プロジェクトは現在、 Slot FillingとIntent Predictionを含むNLU機能の最初の部分を実装しています。

2 プレビュー

>>クリックして今すぐ試してください<<

3データ

3.1 データセット

1. guotie : このデータセットの主な内容は家族の锅贴に関するもので、意図認識機能のみが使用されています。
2. weather : Github にある天気に関する中国の公開データセット。
3. fewjoint : SMP2020。

3.2 データのアノテーション

ここでは、RASA オープン ソース アノテーション ツール RASA-NLU-Trainer をアノテーションに使用します。

コピーをオンラインで展開しており、直接使用できます。

注釈が完了したら、使用する前に形式を変換する必要があります。ここでは/back/data/guotie.json例に挙げます。

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 すぐに始めましょう

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 展開

5.1 ドッカー

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 Kubernetes

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

他6名

6.1 モデルを再トレーニングする

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 QPSテスト

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089 

7 参考文献

• Tensorflow 動的 seq2seq の使用法の概要 (r1.3)
• 共同意図の検出とスロット充填のための注意ベースのリカレント ニューラル ネットワーク モデル
• 共同意図の分類とスロット充填のための BERT
• 「つながり」から「交流」へ ～アリババのインテリジェントな対話インタラクションの実践と考察～
• 結合エンティティと関係を抽出するためのイライラするほど簡単なアプローチ
• FewJoint: 共同言語理解のための少数ショット学習ベンチマーク

8ライセンス

9 コミュニケーション

WeChat ID: Ailln_を追加し、「fuzi」とコメントして、コミュニケーション グループに参加するよう招待します。