fuzi nlu

후지 NLU

?️ Chatbot -夫子의 "자연어 이해" 모듈입니다.

1 소개

夫子챗봇은 7개의 모듈로 구성됩니다.

1. fuzi-bot: 사용자와 상호작용하기 위한 채팅 인터페이스 모듈입니다.
2. fuzi-bot-api: 채팅 인터페이스 모듈, 다른 백엔드 모듈과 통신합니다.
3. fuzi-nlu: 사용자 질문을 이해하는 자연어 처리 모듈입니다.
4. fuzi: 사용자 의도를 추론하는 대화 관리 모듈입니다.
5. fuzi-admin: 로봇 설정을 관리하는 백엔드 관리 모듈입니다.
6. fuzi-admin-api: 다른 백엔드 모듈과 통신하기 위한 백엔드 관리 인터페이스입니다.
7. fuzi-mark: 사용자 질문을 표시하는 데이터 주석 모듈입니다.

챗봇에는 두 가지 일반적인 유형이 있습니다.

1. 채팅형 open domain
2. task oriented

이 프로젝트는 두 번째 유형인 작업 중심의 챗봇에 속합니다. 이러한 유형의 로봇의 일반적인 응용 분야는 사용자의 명확한 요구 사항을 해결하는 것을 목표로 하는 지능형 고객 서비스입니다.

위 그림은 작업 중심 채팅 로봇의 일반적인 프로세스를 보여줍니다. 이 프로젝트는 현재 Slot Filling 및 Intent Prediction 포함하여 NLU 기능의 첫 번째 부분을 구현합니다.

2 미리보기

>>지금 시도하려면 클릭하세요<<

3 데이터

3.1 데이터세트

1. guotie : 이 데이터 세트의 주요 내용은 우리 가족의锅贴에 관한 것이며 의도 인식 기능만 사용됩니다.
2. weather : Github에서 발견된 날씨에 관한 중국의 공개 데이터 세트입니다.
3. fewjoint : SMP2020.

3.2 데이터 주석

여기에서는 RASA 오픈 소스 주석 도구 RASA-NLU-Trainer가 주석에 사용됩니다.

복사본을 온라인으로 배포했으며 직접 사용할 수 있습니다.

주석이 완료된 후 사용하기 전에 형식을 변환해야 합니다. 여기에서는 /back/data/guotie.json 예로 들어 보겠습니다.

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 빨리 시작하세요

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 배포

5.1 도커

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 쿠버네티스

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

그 외 6명

6.1 모델 재교육

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 QPS 테스트

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089 

7 참고문헌

• Tensorflow 동적 seq2seq 사용 요약(r1.3)
• 공동 의도 탐지 및 슬롯 채우기를 위한 주의 기반 순환 신경망 모델
• 공동 의도 분류 및 슬롯 채우기를 위한 BERT
• '연결'에서 '상호작용'으로 - 알리바바의 지능형 대화 상호작용 실천과 반성
• 공동 엔터티 및 관계 추출을 위한 실망스러울 정도로 쉬운 접근 방식
• FewJoint: 공동 언어 이해를 위한 퓨샷 학습 벤치마크

라이센스 8개

9 통신

WeChat ID: Ailln_ 을 추가하고 "fuzi"라고 언급하세요. 커뮤니케이션 그룹에 참여하도록 초대합니다.