OpenDialog

OuvrirDialogue

Nous disposons désormais d'une interface de test, qui peut être utilisée en recherchant le compte public WeChat OpenDialog

OpenDialog est construit sur des transformateurs basés sur PyTorch. Fournit une série de modèles de dialogue de domaine ouvert chinois basés sur des transformateurs (conversations de chat), collecte les ressources de données existantes et complète en permanence les ensembles de données du système de conversation chinois correspondant, dans le but de créer une plate-forme de dialogue de chat chinois open source.

Derniers développements :

• 2020.8.20, terminé l'interface du modèle de pré-formation génératif Open-Domain LCCC-GPT-Large et exécutez le code suivant pour démarrer le service correspondant

  ./run_flask lccc < gpu_id >

• 2020.10.26, finalisation d'un lot de modèles de dialogue de récupération de bi-encodeur (bert-bi-encoder, polyencoder, etc.)

• ...

Tutoriel

1. Brève description de la structure et des documents du projet

Fichiers et répertoires principaux d'OpenDialog :

• data : ensemble de données, fichier de configuration, liste de mots, vecteur de mots, script de traitement de l'ensemble de données
• models : modèles de dialogue
• metrics : indicateurs d'évaluation
• multiview : modèle de reclassement multi-angle, reclassement pour obtenir les réponses des candidats au dialogue
• ckpt : stocke le modèle d'entraînement
• rest : stocke les journaux Tensorboard et les fichiers de résultats générés pendant la phase de test
• utils : stocke les fonctions de l'outil
• dataloader.py : script de chargement de l'ensemble de données
• main.py : fichier principal en cours d'exécution
• header.py : le package à importer
• eval.py : Appeler le script d'évaluation des indicateurs d'évaluation dans metrics pour tester les résultats du fichier généré au rest
• run.sh : exécuter un script batch
• run_flask.sh : Appelez le modèle et démarrez le service

2. Préparer l'environnement

1. Environnement système de base : Linux/Ubuntu-16.04+ , Python 3.6+ , GPU (default 1080 Ti)

2. Installer les bibliothèques dépendantes de Python

pip install -r requirements.txt

3. Installer ElasticSearch

   Le système de dialogue basé sur la récupération doit d'abord utiliser elasticsearch pour un filtrage approximatif. Dans le même temps, afin de réaliser la segmentation des mots chinois lors de l'étape de récupération de filtrage grossier, un segmenteur de mots chinois doit être téléchargé et installé.

4. Installer mongodb

   Après le démarrage du service, mongodb sera utilisé pour stocker l'historique des sessions et les données nécessaires.

3. Préparer les données

1. Lien vers l'ensemble de données Baidu Cloud : https://pan.baidu.com/s/1xJibJmOOCGIzmJVC6CZ39Q ;
2. Stockez les fichiers de données correspondants dans les sous-répertoires correspondants sous data et stockez les fichiers vectoriels de mots chinese_w2v.txt et english_w2v.bin sous data .
3. Voir data/README.md pour les détails des données et les données prétraitées.
4. Ensembles de données disponibles

5. Modèle de formation

• Le modèle de formation prend en charge le parallélisme multi-GPU. Il vous suffit de spécifier plusieurs identifiants GPU <gpu_ids> , tels que 0,1,2,3
• Le nom dataset est cohérent avec le nom dans le répertoire data .

Modèle	CMD	Taper	Détails	Référer	Modèle de pré-entraînement
bertrécupération	./run.sh train <dataset> bertretrieval <gpu_ids>	récupération	Modèle de réglage fin basé sur Bert (réglage fin)	Papier
gpt2	./run.sh train <dataset> gpt2 <gpu_ids>	génératif	Modèle de dialogue génératif GPT2	Code
gpt2gan	./run.sh train <dataset> gpt2gan <gpu_ids>	génératif	Modèle de dialogue basé sur GAN, le modèle génératif est GPT2 et le modèle discriminant est le modèle à deux classifications BERT.	Papier

6. Résultats expérimentaux

7. Démarrez le service de flacon

1. Démarrer le service de flacon

    ./run_flask.sh <model_name> <gpu_id>
   

2. Interface d'appel

   • Compte public WeChat
   • facteur