DL for Chatbot

Kecenderungan mendalam untuk Pengembang Chatbot

• Materi Kursus Deep Leaning untuk Pengembang Chatbot (Sep. 2017)
• Pengarang: Jaemin Cho
• Permintaan Tarik diterima :)

Isi

Hari 01 Pengenalan Chatbot (slideshare)

• Pengantar NLP/Chatbot
• Ikhtisar Perangkat/Dataset NLP Korea/Inggris
• Tutorial (kode)
  • Pengantar spaCy / gensim / konlpy / toolkit Korea lainnya
  • Klasifikasi sentimen melalui TF-IDF (scikit-learn)
  • Pipelining Chatbot / Melayani melalui Kakaotalk (flask) / Slack (pemalas)

Klasifikasi Teks Hari 02 dengan CNN/RNN (slideshare)

• CNN untuk klasifikasi teks
  • Kata CNN / CNN Dinamis / Char CNN / CNN Sangat Dalam
• RNN untuk klasifikasi teks
  • RNN Dua Arah / NN Rekursif / LSTM Pohon / LSTM Encoder Ganda
• Arsitektur CNN/RNN tingkat lanjut
  • QRNN / SRU / ByteNet / SliceNet / LSTM-CNNs-CRF
• Tutorial (kode)
  • Word-CNN untuk analisis sentimen
  • Panduan Gaya PyTorch
  • Tutorial Teks Obor

Pemodelan Percakapan Hari 03 dengan Seq2Seq / Perhatian (slideshare)

• Model Seq2Seq untuk pemodelan percakapan
  • Seq2Seq / Model Percakapan Neural / Tujuan yang mendorong keberagaman: MMI
• Arsitektur Seq2Seq tingkat lanjut
  • Tunjukkan dan Ceritakan / HRED / VHRED / Model Percakapan Neural Berbasis Pribadi / Vektor Kata Kontekstualisasi (CoVe)
• Mekanisme perhatian
  • Bahdanau / Luong
  • Global / Lokal
• Arsitektur Perhatian Tingkat Lanjut
  • Tunjukkan, Hadiri dan Beritahu / Jaringan Pointer / CopyNet / BiDAF / Transformer
• Tutorial (kode)
  • Seq2Seq dengan Perhatian pada Terjemahan Mesin

QA Hari 04 dengan Memori Eksternal (slideshare)

• QA dengan Memori Eksternal
  • Jaringan Memori / Jaringan Memori End-to-End / Jaringan Memori Nilai Kunci / Mesin Neural Turing
• Arsitektur Memori Tingkat Lanjut
  • DNC / Modul Memori Seumur Hidup / Jaringan Memori Urutan Konteks
• Arsitektur Dialog Tingkat Lanjut
  • MILABOT / Pembelajaran bahasa berbasis dialog / Dialog Berorientasi Tujuan End-to-End / Deep RL / Adversarial
• Tutorial (kode)
  • Jaringan Memori End-to-End untuk Menjawab Pertanyaan (bAbI)

Ketergantungan

ular piton 3

• Kode ditulis dalam Anacodna Python 3.6.
• Manajemen paket melalui Conda atau virtualenv direkomendasikan.

ML/NLP

• PyTorch
• Teks Obor
• spaCy
• sckit-belajar
• gensim
• konlpy (membutuhkan Jpype3)

Interaktif / DataFrame / Plot

• jupyter
• panda
• matplotlib

Kakaotalk/Bot Slack

• labu
• klien soket web
• sup indah4
• pemalas