DL for Chatbot

챗봇 개발자를 위한 심층 학습

• 챗봇 개발자를 위한 딥러닝 강좌 자료 (2017년 9월)
• 저자 : 조재민
• 풀 리퀘스트 환영합니다 :)

내용물

Day 01 챗봇 소개(슬라이드쉐어)

• NLP/챗봇 소개
• 한국어/영어 NLP 툴킷/데이터셋 개요
• 튜토리얼(코드)
  • spaCy / gensim / konlpy / 기타 한국어 툴킷 소개
  • TF-IDF(scikit-learn)를 통한 감정 분류
  • 챗봇 파이프라이닝 / 카카오톡 서비스(flask) / Slack(slacker)

Day 02 CNN/RNN을 이용한 텍스트 분류(슬라이드 공유)

• 텍스트 분류를 위한 CNN
  • 단어 CNN / 동적 CNN / Char CNN / 매우 깊은 CNN
• 텍스트 분류를 위한 RNN
  • 양방향 RNN / Recursive NN / 트리 LSTM / 듀얼 인코더 LSTM
• 고급 CNN/RNN 아키텍처
  • QRNN / SRU / ByteNet / SliceNet / LSTM-CNNs-CRF
• 튜토리얼(코드)
  • 감정 분석을 위한 Word-CNN
  • PyTorch 스타일 가이드
  • TorchText 튜토리얼

Day 03 Seq2Seq를 이용한 대화 모델링 / Attention(슬라이드쉐어)

• 대화 모델링을 위한 Seq2Seq 모델
  • Seq2Seq / 신경 대화 모델 / 다양성 촉진 목표: MMI
• 고급 Seq2Seq 아키텍처
  • Show and Tell / HRED / VHRED / 개인 기반 신경 대화 모델 / 상황별 단어 벡터(CoVe)
• 주의 메커니즘
  • 바다나우 / 루옹
  • 글로벌 / 로컬
• Advanced Attention 아키텍처
  • 표시하고 참석하고 알리기 / 포인터 네트워크 / CopyNet / BiDAF / 변압기
• 튜토리얼(코드)
  • 기계 번역에 주의를 기울인 Seq2Seq

Day 04 외부 메모리를 사용한 QA(슬라이드 공유)

• 외부 메모리를 이용한 QA
  • 메모리 네트워크 / 엔드투엔드 메모리 네트워크 / 키-값 메모리 네트워크 / 신경 튜링 머신
• 고급 메모리 아키텍처
  • DNC / 평생 메모리 모듈 / 컨텍스트 시퀀스 메모리 네트워크
• 고급 대화 아키텍처
  • MILABOT / 대화 기반 언어 학습 / End-to-End 목표 지향 대화 / Deep RL / Adversarial
• 튜토리얼(코드)
  • 질문 응답을 위한 엔드투엔드 메모리 네트워크(bAbI)

종속성

파이썬 3

• 코드는 Anacodna Python 3.6으로 작성되었습니다.
• Conda 또는 virtualenv를 통한 패키지 관리가 권장됩니다.

ML / NLP

• 파이토치
• 토치텍스트
• 스파시
• sckit-learn
• 겐심
• konlpy(Jpype3 필요)

대화형/DataFrame/플롯

• 주피터
• 팬더
• matplotlib

카카오톡/슬랙봇

• 플라스크
• 웹소켓 클라이언트
• 아름다운수프4
• 병역 기피자