DL for Chatbot

Tiefes Wissen für Chatbot-Entwickler

• Kursmaterialien zu Deep Lean für Chatbot-Entwickler (Sep. 2017)
• Autor: Jaemin Cho
• Pull-Anfragen willkommen :)

Inhalt

Tag 01 Einführung in Chatbot (Slideshare)

• Einführung in NLP/Chatbot
• Übersicht über koreanische/englische NLP-Toolkits/Datensätze
• Tutorial (Code)
  • Einführung in spaCy / gensim / konlpy / andere koreanische Toolkits
  • Stimmungsklassifizierung über TF-IDF (scikit-learn)
  • Chatbot-Pipelining / Serving über Kakaotalk (Flask) / Slack (Slacker)

Tag 02 Textklassifizierung mit CNN/RNN (Slideshare)

• CNN zur Textklassifizierung
  • Wort-CNN / Dynamisches CNN / Char-CNN / Sehr tiefes CNN
• RNN zur Textklassifizierung
  • Bidirektionales RNN / Rekursives NN / Baum-LSTM / Dual-Encoder-LSTM
• Erweiterte CNN/RNN-Architekturen
  • QRNN / SRU / ByteNet / SliceNet / LSTM-CNNs-CRF
• Tutorial (Code)
  • Word-CNN zur Stimmungsanalyse
  • PyTorch-Styleguide
  • TorchText-Tutorial

Tag 03 Konversationsmodellierung mit Seq2Seq / Achtung (Slideshare)

• Seq2Seq-Modelle zur Konversationsmodellierung
  • Seq2Seq / Neuronales Konversationsmodell / Diversitätsförderndes Ziel: MMI
• Erweiterte Seq2Seq-Architekturen
  • Show and Tell / HRED / VHRED / Persönliches neuronales Konversationsmodell / Kontextualisierte Wortvektoren (CoVe)
• Aufmerksamkeitsmechanismus
  • Bahdanau / Luong
  • Global / Lokal
• Erweiterte Aufmerksamkeitsarchitekturen
  • Zeigen, teilnehmen und erzählen / Pointer Networks / CopyNet / BiDAF / Transformer
• Tutorial (Code)
  • Seq2Seq mit Schwerpunkt auf maschineller Übersetzung

Tag 04 Qualitätssicherung mit externem Speicher (Slideshare)

• Qualitätssicherung mit externem Speicher
  • Speichernetzwerke / End-to-End-Speichernetzwerke / Schlüsselwert-Speichernetzwerke / Neuronale Turingmaschinen
• Erweiterte Speicherarchitekturen
  • DNC / Lebenslange Speichermodule / Kontextsequenz-Speichernetzwerke
• Erweiterte Dialogarchitekturen
  • MILABOT / Dialogbasiertes Sprachenlernen / Zielorientierter End-to-End-Dialog / Deep RL / Adversarial
• Tutorial (Code)
  • End-to-End-Speichernetzwerke zur Beantwortung von Fragen (bAbI)

Abhängigkeiten

Python 3

• Codes werden in Anacodna Python 3.6 geschrieben.
• Die Paketverwaltung über Conda oder Virtualenv wird empfohlen.

ML / NLP

• PyTorch
• TorchText
• spacig
• sckit-lernen
• gensim
• konlpy (erfordert Jpype3)

Interaktiv / DataFrame / Plot

• Jupiter
• Pandas
• matplotlib

Kakaotalk / Slack Bot

• Flasche
• WebSocket-Client
• schöne Suppe4
• lockerer