Apprentissage approfondi pour les développeurs de chatbots
- Supports de cours d'apprentissage profond pour les développeurs de chatbots (septembre 2017)
- Auteur : Jaemin Cho
- Les demandes de tirage sont les bienvenues :)
Contenu
Jour 01 Introduction au Chatbot (slideshare)
- Introduction à la PNL/Chatbot
- Présentation des kits d'outils/ensembles de données PNL coréen/anglais
- Tutoriel (code)
- Introduction à spaCy / gensim / konlpy / autres boîtes à outils coréennes
- Classification des sentiments via TF-IDF (scikit-learn)
- Pipelining de Chatbot / Service via Kakaotalk (flacon) / Slack (fainéant)
Jour 02 Classification de texte avec CNN/RNN (slideshare)
- CNN pour la classification de texte
- Word CNN / Dynamic CNN / Char CNN / Very Deep CNN
- RNN pour la classification de texte
- RNN bidirectionnel / NN récursif / Arbre LSTM / Double encodeur LSTM
- Architectures CNN/RNN avancées
- QRNN / SRU / ByteNet / SliceNet / LSTM-CNNs-CRF
- Tutoriel (code)
- Word-CNN pour l'analyse des sentiments
- Guide de style PyTorch
- Tutoriel TorchText
Jour 03 Modélisation de conversation avec Seq2Seq / Attention (slideshare)
- Modèles Seq2Seq pour la modélisation de conversations
- Seq2Seq / Modèle de conversation neuronale / Objectif incitateur à la diversité : MMI
- Architectures Seq2Seq avancées
- Montrer et raconter / HRED / VHRED / Modèle de conversation neuronale personnel / Vecteurs de mots contextualisés (CoVe)
- Mécanisme d'attention
- Bahdanau / Luong
- Mondial/Local
- Architectures d'attention avancées
- Montrer, assister et raconter / Réseaux de pointeurs / CopyNet / BiDAF / Transformateur
- Tutoriel (code)
- Seq2Seq avec attention pour la traduction automatique
Jour 04 Contrôle qualité avec mémoire externe (slideshare)
- Assurance qualité avec mémoire externe
- Réseaux de mémoire / Réseaux de mémoire de bout en bout / Réseaux de mémoire à valeur clé / Machines de Turing neuronales
- Architectures de mémoire avancées
- DNC / Modules de mémoire à vie / Réseaux de mémoire à séquence contextuelle
- Architectures de dialogue avancées
- MILABOT / Apprentissage des langues basé sur le dialogue / Dialogue orienté objectif de bout en bout / Deep RL / Adversarial
- Tutoriel (code)
- Réseaux de mémoire de bout en bout pour la réponse aux questions (bAbI)
Dépendances
Python3
- Les codes sont écrits en Anacodna Python 3.6.
- La gestion des packages via Conda ou virtualenv est recommandée.
ML/PNL
- PyTorch
- TorchTexte
- SpaCy
- sckit-apprendre
- gensim
- konlpy (nécessite Jpype3)
Interactif / DataFrame / Tracé
- jupyter
- pandas
- matplotlib
Kakaotalk / Slack Bot
- ballon
- client websocket
- bellesoup4
- fainéant
