Rasa_NLU_Chi

Rasa NLU para chino, una bifurcación de RasaHQ/rasa_nlu.

Consulte las instrucciones más recientes en el documento oficial de Rasa NLU.

Blog

Archivos que debes tener:

• datos/total_word_feature_extractor_zh.dat

Capacitado a partir de corpus chino mediante herramientas MITIE wordrep (la capacitación demora entre 2 y 3 días)

Para obtener capacitación, cree la herramienta MITIE Wordrep. Tenga en cuenta que el corpus chino debe tokenizarse primero antes de introducirlo en la herramienta para el entrenamiento. El corpus de dominio cercano que mejor se adapta al caso del usuario funciona mejor.

Se puede descargar un modelo entrenado de Wikipedia Dump y Baidu Baike en chino desde 中文Blog.

• datos/examples/rasa/demo-rasa_zh.json

Debería agregar tantos ejemplos como sea posible.

Uso:

1. Clona este proyecto y ejecuta

 python setup.py install

2. Modificar la configuración.

   Actualmente para los chinos tenemos dos pipelines:

   Utilice MITIE+Jieba (sample_configs/config_jieba_mitie.yml):

 language : " zh "

pipeline :
- name : " nlp_mitie "
  model : " data/total_word_feature_extractor_zh.dat "
- name : " tokenizer_jieba "
- name : " ner_mitie "
- name : " ner_synonyms "
- name : " intent_entity_featurizer_regex "
- name : " intent_classifier_mitie "

RECOMENDADO: Utilice MITIE+Jieba+sklearn (sample_configs/config_jieba_mitie_sklearn.yml):

 language : " zh "

pipeline :
- name : " nlp_mitie "
  model : " data/total_word_feature_extractor_zh.dat "
- name : " tokenizer_jieba "
- name : " ner_mitie "
- name : " ner_synonyms "
- name : " intent_entity_featurizer_regex "
- name : " intent_featurizer_mitie "
- name : " intent_classifier_sklearn "

3. (Opcional) Utilice el diccionario definido por el usuario de Jieba o cambie el diccionario predeterminado de Jieba:

   Puede ingresar la ruta del archivo o la ruta del directorio como valor "user_dicts". (sample_configs/config_jieba_mitie_sklearn_plus_dict_path.yml)

 language : " zh "

pipeline :
- name : " nlp_mitie "
  model : " data/total_word_feature_extractor_zh.dat "
- name : " tokenizer_jieba "
  default_dict : " ./default_dict.big "
  user_dicts : " ./jieba_userdict "
#  user_dicts: "./jieba_userdict/jieba_userdict.txt"
- name : " ner_mitie "
- name : " ner_synonyms "
- name : " intent_entity_featurizer_regex "
- name : " intent_featurizer_mitie "
- name : " intent_classifier_sklearn "

4. Entrene el modelo ejecutando:

   Si especifica el nombre de su proyecto en el archivo de configuración, esto guardará su modelo en /models/your_project_name.

   De lo contrario, su modelo se guardará en /models/default

 python -m rasa_nlu.train -c sample_configs/config_jieba_mitie_sklearn.yml --data data/examples/rasa/demo-rasa_zh.json --path models

5. Ejecute el servidor rasa_nlu:

 python -m rasa_nlu.server -c sample_configs/config_jieba_mitie_sklearn.yml --path models

6. Abra una nueva terminal y ahora podrá rizar los resultados del servidor, por ejemplo:

 $ curl -XPOST localhost:5000/parse -d '{"q":"我发烧了该吃什么药？", "project": "rasa_nlu_test", "model": "model_20170921-170911"}' | python -mjson.tool
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   652    0   552  100   100    157     28  0:00:03  0:00:03 --:--:--   157
{
    "entities": [
        {
            "end": 3,
            "entity": "disease",
            "extractor": "ner_mitie",
            "start": 1,
            "value": "发烧"
        }
    ],
    "intent": {
        "confidence": 0.5397186422631861,
        "name": "medical"
    },
    "intent_ranking": [
        {
            "confidence": 0.5397186422631861,
            "name": "medical"
        },
        {
            "confidence": 0.16206323981749196,
            "name": "restaurant_search"
        },
        {
            "confidence": 0.1212448457737397,
            "name": "affirm"
        },
        {
            "confidence": 0.10333600028547868,
            "name": "goodbye"
        },
        {
            "confidence": 0.07363727186010374,
            "name": "greet"
        }
    ],
    "text": "我发烧了该吃什么药？"
}