fuzi nlu

ФУЗИ НЛУ

?️ Чат-бот — модуль «понимания естественного языка» от夫子.

1 Введение

Чат-бот夫子состоит из 7 модулей:

1. fuzi-bot: модуль интерфейса чата для взаимодействия с пользователями.
2. fuzi-bot-api: модуль интерфейса чата, взаимодействующий с другими серверными модулями.
3. fuzi-nlu: модуль обработки естественного языка для понимания вопросов пользователей.
4. fuzi: модуль управления диалогами для определения намерений пользователя.
5. fuzi-admin: Модуль управления серверной частью для управления настройками робота.
6. fuzi-admin-api: интерфейс управления серверной частью для связи с другими модулями серверной части.
7. fuzi-mark: модуль аннотации данных, отмечающий вопросы пользователя.

Существует два распространенных типа чат-ботов:

1. Тип чата open domain
2. task oriented

Этот проект относится ко второму типу — чат-боту, ориентированному на выполнение задач. Распространенным применением этого типа роботов является интеллектуальное обслуживание клиентов, целью которого является удовлетворение четких потребностей пользователей .

На картинке выше показан общий процесс работы ориентированного на задачи чат-робота. В настоящее время проект реализует первую часть функции NLU , включая Slot Filling и Intent Prediction .

2 превью

>>Нажмите, чтобы попробовать сейчас<<

3 данные

3.1 Набор данных

1. guotie : Основное содержание этого набора данных касается锅贴моей семьи, и используется только функция распознавания намерений.
2. weather : китайский общедоступный набор данных о погоде, найденный на Github.
3. fewjoint : SMP2020.

3.2 Аннотация к данным

Для аннотирования здесь используется инструмент аннотации с открытым исходным кодом RASA RASA-NLU-Trainer.

Я развернул копию в Интернете и могу использовать ее напрямую.

После завершения аннотации формат необходимо преобразовать, прежде чем его можно будет использовать. В качестве примера возьмем /back/data/guotie.json :

pip install rasa==2.6.3

cd fuzi-nlu/data
mkdir guotie

# rasa 暂时不支持从 json 直接转成 yaml，因此需要先转 md，再转 yaml
rasa data convert nlu -f md --data guotie.json --out ./guotie/nlu.md
rasa data convert nlu -f yaml --data ./guotie/nlu.md --out ./guotie/

rm ./guotie/nlu.md
mv ./guotie/nlu_converted.yml ./guotie/nlu.yml

# 生成 domain
python -m run.generate_domain_from_nlu --nlu ./data/guotie/nlu.yml --domain ./data/guotie/domain.yml

4 Быстро начните

git clone https://github.com/Ailln/fuzi-nlu.git

cd fuzi-nlu
# 安装依赖
pip install -r requirements.txt

python -m run.server

5 Развертывание

5.1 Докер

git clone https://github.com/Ailln/fuzi-nlu.git

# in amd64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

# in arm64
cd fuzi-nlu
# 打包
docker build -t fuzi-nlu:1.0.0 -f deploy/arm64.Dockerfile .
# 运行
docker run -d --restart=always --name fuzi-nlu -p 8081:8081 fuzi-nlu:1.0.0

5.2 Кубернетес

 cd fuzi-nlu
# 准备好镜像
kubectl apply -f deploy/deployment.yaml

еще 6

6.1 Переобучить модель

 cd fuzi-nlu
# 训练
python -m run.train

# 测试
python -m run.test

6.2 Тест QPS

pip install locust -U

locust -f test/qps_test.py -u 10 -r 2
# 打开 http://127.0.0.1:8089 

7 ссылок

• Сводка использования динамического seq2seq Tensorflow (r1.3)
• Рекуррентные модели нейронных сетей на основе внимания для совместного обнаружения намерений и заполнения слотов
• BERT для классификации совместных намерений и заполнения слотов
• От «связи» к «взаимодействию»: практика и размышления интеллектуального диалогового взаимодействия Alibaba.
• Разочаровывающе простой подход к извлечению совместных сущностей и отношений
• FewJoint: тест для совместного понимания языка в несколько этапов

8 лицензий

9 общение

Пожалуйста, добавьте идентификатор WeChat: Ailln_ , отметьте «fuzi», я приглашаю вас присоединиться к группе общения.