Chinese Chatbot PyTorch Implementation

? Xiaozhi, 또 다른 중국 챗봇:yum:

? @Doragd가 작성한 중국어 채팅 로봇인 흥미로운 중국어 말뭉치 qingyun을 사용합니다.

• 비록 그녀가 그렇게 완벽하지는 않지만 :근육:, 그렇게 훌륭하지는 않지만 :paw_prints:

• 하지만 그녀는 내가 직접 코딩했어요:sparkling_heart:, 그래서

• 이 NLP 초보자와 그의 친구들을 지원하기 위해 모두가 더 많은 별을 줄 수 있기를 바랍니다 .

?배경

이 프로젝트는 실제로 소프트웨어 엔지니어링 과정 설계의 하위 모듈입니다. 우리의 목표는 지능형 고객 서비스 티켓 처리 시스템을 개발하는 것입니다.

지능형 고객 서비스 작업 주문 시스템의 실제 작업 흐름은 다음과 같습니다. 사람이 시스템에 질문을 하면 시스템은 먼저 지식 기반을 검색하여 관련 질문이 있는지 확인하고 질문에 대한 답변을 반환합니다. 현재 만족스럽지 않은 경우 직접 작업 주문을 제출할 수 있습니다. 지식베이스에 존재하지 않는 경우, 자동 응답을 위해 이 챗봇을 호출합니다.

이 시스템의 서비스 시나리오는 Tencent Cloud의 고객 서비스 시스템과 유사합니다. 고객은 주로 관련 문제(클라우드 서버, 도메인 이름 등)를 상담하기 위해 방문하므로 지식 베이스도 상담 및 문제 해결(질문, 답변) 모음입니다. 클라우드 서버, 도메인 이름 등에 대해.

시스템의 프런트엔드 인터페이스와 프런트엔드 및 백엔드 메시지 상호작용은 주로 React+Django를 사용하여 다른 동급생 @adjlyadv가 완료합니다.

@Doragd는 지식 기반을 확보하고 챗봇을 작성, 교육 및 테스트하는 일을 담당합니다. 이 레포의 내용도 이에 관한 것입니다.

? 테스트 효과

• 지식 베이스를 사용하지 않고 답변

• 지식 기반을 사용하여 답변

• 전반적인 시스템 효과:

? 프로젝트 구조

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?종속 라이브러리

종속성 설치

$ pip install -r requirements.txt

?시작하세요

데이터 전처리(생략 가능)

$ python datapreprocess.py

Corpus.pth를 생성하기 위한 전처리 ( corpus.pth는 여기에 업로드되어 있으므로 이 단계는 생략 가능 )

수정 가능한 매개변수:

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

사용

• 지식 베이스 사용

지식베이스를 사용할 경우에는 use_QA_first=True 이때 입력 문자열에 대해서는 먼저 지식베이스에서 가장 적합한 질문과 답변을 매칭하여 반환합니다. 찾을 수 없는 경우 챗봇을 호출하여 자동으로 답변을 생성합니다.

여기에 있는 지식 베이스는 Tencent Cloud 공식 문서에서 수집한 100가지 자주 묻는 질문과 답변 모음입니다. 테스트용입니다!

$ python main.py chat --use_QA_first=True

• 지식 베이스를 사용하지 않음

코스 설계상의 필요로 인해 Tencent Cloud의 질문과 답변 쌍을 추가했지만 채팅 로봇 프로젝트와는 관련이 없으므로 일반적으로 use_QA_first=False 사용 시 이 매개변수의 기본값은 True 입니다.

$ python main.py chat --use_QA_first=False

• 기본 매개변수 사용

$ python main.py chat

• 채팅 종료: exit , quit 또는 q 입력합니다.

기타 구성 가능한 매개변수

config.py 파일에 설명

새 매개변수를 전달해야 하는 경우 명령줄에서 다음 형식으로 매개변수를 전달하기만 하면 됩니다.

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

위 명령은 학습된 모델을 로드할 경로와 지식 베이스 사용 여부를 나타냅니다.

?기술적 구현

신체

코퍼스 이름	말뭉치 수	말뭉치 소스 설명	코퍼스 특성	코퍼스 샘플	분사되었는지 여부
qingyun (칭윤 말뭉치)	10W	챗봇 커뮤니케이션 그룹	비교적 양호, 생활 친화적	Q. 돈을 굉장히 좋아하시는 것 같더라고요. A: 아, 정말요? 그럼 거의 다 왔네요	아니요

• 출처: https://github.com/codemayq/chinese_chatbot_corpus

Seq2Seq

• 인코더: 2계층 양방향 GRU
• 디코더: 이중층 단방향 GRU

주목

• 점을 사용하여 점수를 계산하는 글로벌 어텐션
• 참조: https://arxiv.org/abs/1508.04025

?모델 훈련 및 평가

$ python train_eval.py train [--options]

정량적 평가 부분은 아직 작성되지 않았습니다. Perplexity로 측정해야 합니다. 현재는 문장을 생성하고 품질을 수동으로 평가할 수만 있습니다.

$ python train_eval.py eval [--options]

?피트 점핑 기록 및 요약

• 가장 심오한 경험은 "딥러닝 지식에 대한 이해와 이해 사이에 N 프로그래밍 구현의 격차가 있다"는 것입니다. 이론은 모든 사람에게 매우 명확하지만 프로그래밍 구현과 관련하여 데이터 세트 처리부터 많은 수식의 프로그래밍 구현, 매개 변수 조정, GPU 구성 및 기타 문제에 이르기까지 항상 이러한 문제가 있습니다.
• 이번 실습의 실제 과정은 PyTorch Tutorial을 따라가며 Chatbot 부분을 먼저 진행한 후, 코퍼스를 변경하고 코퍼스를 처리한 다음 클래스 스타일에 맞게 코드를 리팩토링하는 것이었습니다. 특히 텐서를 GPU로 이동할 때 다양한 문제에 직면하게 됩니다. 주로 언제 (장치)로 이동했는지 정확히 알 수 없기 때문입니다.
  • 테스트를 통해 우리는 model.to(device)가 매개변수만 GPU로 이동하고 클래스에 정의된 멤버 텐서를 이동하지 않는다는 것을 확인했습니다. 따라서 앞으로 메소드에서 새 텐서를 정의하는 경우 이를 이동하는 것을 잊지 마세요.
  • 이동 순서 문제도 있습니다. 먼저 모델을 GPU로 이동한 다음 최적화 프로그램을 정의합니다. 그리고 이동 방법: model=model.to(device), 값을 할당하는 것을 잊지 마세요.
  • GPU에서는 메모리가 부족해지기 쉽습니다. 코드를 작성할 때 메모리 활용에 주의하고 텐서 중복을 최소화하세요.
  • 처음에 중국어 말뭉치를 변경한 후 훈련이 항상 수렴되지 않았는데 결국에는 배치_크기 설정이 너무 작다는 것을 알게 되었습니다. 실제로 비디오 메모리가 있을 때 배치_크기는 최대한 커야 한다고 느꼈습니다. 사실, 나는 이것을 이전에 본 적이 있지만 코드를 작성할 때 그것을 완전히 잊어버렸습니다. 당시 미니배치를 봤을 때 제가 충분히 이해하지 못했다는 걸 보여주네요. 적어도 버그는 사람들 마음속에 깊이 뿌리내릴 수 있도록 실제로 코드를 작성해야 합니다.
  • 또 다른 문제는 torch.long을 고정밀 부동소수점인 줄 알고 오해했는데, 알고보니 int64 타입이어서 버그가 발생했다는 점입니다. 이는 문서를 주의 깊게 읽으라는 의미입니다.
  • 최종적인 이점은 모델을 실제로 구현하는 방법에 익숙해지는 것이며 이는 중요합니다.
• 사실, 이 모델의 효과는 그다지 좋지 않습니다. 모델 자체의 문제와는 별도로, 단어 분할의 품질이 문장의 품질에 심각한 영향을 미친다는 것을 발견했습니다. 단어 분할을 수행하면 이상한 결과가 발생합니다.
• 또 다른 문제는 가변 길이 시퀀스를 다룰 때 손실 함수를 직접 정의하면 불안정해지기 쉽다는 점입니다. 아직 공식 API를 연구 중입니다.
• 이 연습을 하면서 일부 매개변수에 대한 이해가 충분히 깊지 않았고 이를 조정하는 방법도 몰랐기 때문에 이론을 보완해야 했습니다.
• 모델에 대한 평가는 여전히 완료되어야 합니다.

감사의 말

• 공식 챗봇 튜토리얼
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• 중국어 말뭉치 제공
  • https://github.com/codemayq/chinese_chatbot_corpus
• 내용은 공식 Chatbot Tutorial과 일치하지만 자세한 코드 설명이 있습니다.
  • http://fancyerii.github.io/2019/02/14/chatbot/
• 모델의 글쓰기 방법과 습관을 참고해주세요.
  • https://github.com/chenyuntc/pytorch-book