DL for Chatbot

Aprendizaje profundo para desarrolladores de Chatbot

• Materiales del curso de aprendizaje profundo para desarrolladores de Chatbot (septiembre de 2017)
• Autor: Jaemin Cho
• Se aceptan solicitudes de extracción :)

Contenido

Día 01 Introducción al Chatbot (slideshare)

• Introducción a la PNL/Chatbot
• Descripción general de los kits de herramientas/conjuntos de datos de PNL en coreano/inglés
• Tutorial (código)
  • Introducción a spaCy / gensim / konlpy / otros kits de herramientas coreanos
  • Clasificación de sentimientos mediante TF-IDF (scikit-learn)
  • Canalización de chatbot / Servicio a través de Kakaotalk (frasco) / Slack (vago)

Día 02 Clasificación de texto con CNN/RNN (slideshare)

• CNN para clasificación de texto
  • CNN de palabra / CNN dinámica / CNN de caracteres / CNN muy profunda
• RNN para clasificación de texto
  • RNN bidireccional / NN recursivo / Árbol LSTM / Codificador dual LSTM
• Arquitecturas CNN/RNN avanzadas
  • QRNN / SRU / ByteNet / SliceNet / LSTM-CNNs-CRF
• Tutorial (código)
  • Word-CNN para análisis de sentimiento
  • Guía de estilo de PyTorch
  • Tutorial de texto de antorcha

Día 03 Modelado de conversación con Seq2Seq / Atención (slideshare)

• Modelos Seq2Seq para modelado de conversaciones.
  • Seq2Seq / Modelo de conversación neuronal / Objetivo promotor de la diversidad: MMI
• Arquitecturas avanzadas Seq2Seq
  • Mostrar y contar / HRED / VHRED / Modelo de conversación neuronal personal / Vectores de palabras contextualizados (CoVe)
• Mecanismo de atención
  • Bahdanau / Luong
  • Globales/Locales
• Arquitecturas de atención avanzada
  • Mostrar, asistir y contar / Pointer Networks / CopyNet / BiDAF / Transformer
• Tutorial (código)
  • Seq2Seq con atención a la traducción automática

Día 04 Control de calidad con memoria externa (slideshare)

• Control de calidad con memoria externa
  • Redes de memoria / Redes de memoria de extremo a extremo / Redes de memoria de valores clave / Máquinas neuronales de Turing
• Arquitecturas de memoria avanzadas
  • DNC / Módulos de memoria de por vida / Redes de memoria de secuencia de contexto
• Arquitecturas de diálogo avanzadas
  • MILABOT / Aprendizaje de idiomas basado en diálogos / Diálogo orientado a objetivos de un extremo a otro / RL profunda / Adversario
• Tutorial (código)
  • Redes de memoria de extremo a extremo para responder preguntas (bAbI)

Dependencias

Pitón 3

• Los códigos están escritos en Anacodna Python 3.6.
• Se recomienda la gestión de paquetes a través de Conda o virtualenv.

Aprendizaje automático / PNL

• PyTorch
• Texto de la antorcha
• espacio
• sckit-aprende
• gensim
• konlpy (requiere Jpype3)

Interactivo / Marco de datos / Trama

• jupyter
• pandas
• matplotlib

Kakaotalk / Bot flojo

• matraz
• cliente-websocket
• hermosasopa4
• vago