Глубокий опыт для разработчиков чат-ботов
- Материалы курса «Глубокое изучение» для разработчиков чат-ботов (сентябрь 2017 г.)
- Автор: Джэмин Чо
- Запросы на вытягивание приветствуются :)
Содержание
День 1. Знакомство с чат-ботом (слайд)
- Введение в НЛП/чат-бот
- Обзор корейских/английских наборов инструментов/наборов данных НЛП
- Учебник (код)
- Введение в spaCy/gensim/konlpy/другие корейские наборы инструментов
- Классификация настроений с помощью TF-IDF (scikit-learn)
- Конвейерная обработка чат-бота / Обслуживание через Kakaotalk (flask) / Slack (бездельник)
День 02. Классификация текста с помощью CNN/RNN (слайд)
- CNN для классификации текста
- Word CNN / Динамический CNN / Символьный CNN / Очень глубокий CNN
- RNN для классификации текста
- Двунаправленный RNN / Рекурсивный NN / Дерево LSTM / Двойной кодировщик LSTM
- Расширенные архитектуры CNN/RNN
- QRNN/SRU/ByteNet/SliceNet/LSTM-CNNs-CRF
- Учебник (код)
- Word-CNN для анализа настроений
- Руководство по стилю PyTorch
- Учебное пособие по TorchText
День 3. Моделирование разговора с помощью Seq2Seq / Внимание (слайд)
- Модели Seq2Seq для моделирования разговоров
- Seq2Seq / Модель нейронного диалога / Цель обеспечения разнообразия: MMI
- Расширенные архитектуры Seq2Seq
- Покажи и расскажи / HRED / VHRED / Модель нейронного диалога на основе личности / Контекстуализированные векторы слов (CoVe)
- Механизм внимания
- Богданау / Луонг
- Глобальный/локальный
- Расширенные архитектуры внимания
- Показывайте, посещайте и рассказывайте / Сети указателей / CopyNet / BiDAF / Transformer
- Учебник (код)
- Seq2Seq с вниманием к машинному переводу
День 4. Контроль качества внешней памяти (слайд)
- Контроль качества с внешней памятью
- Сети памяти / Сквозные сети памяти / Сети памяти с ключом-значением / Нейронные машины Тьюринга
- Расширенные архитектуры памяти
- DNC / Модули долговременной памяти / Сети контекстно-последовательной памяти
- Расширенные диалоговые архитектуры
- MILABOT / Диалоговое изучение языка / Сквозной целеориентированный диалог / Глубокое RL / Состязательный подход
- Учебник (код)
- Сквозные сети памяти для ответов на вопросы (bAbI)
Зависимости
Питон 3
- Коды написаны на Anacodna Python 3.6.
- Рекомендуется управлять пакетами через Conda или virtualenv.
ML/НЛП
- PyTorch
- ФакелТекст
- простор
- sckit-learn
- генсим
- konlpy (требуется Jpype3)
Интерактивный / DataFrame / График
Kakaotalk/Slack Бот
- колба
- вебсокет-клиент
- красивыйсуп4
- бездельник