Chinese Chatbot PyTorch Implementation

? Xiaozhi, chatbot Tiongkok lainnya:yum:

? Menggunakan corpus qingyun Tiongkok yang menarik, robot obrolan Tiongkok yang ditulis oleh @Doragd: manusia salju:

• Meskipun dia tidak sesempurna :muscle:, tidak terlalu hebat :paw_prints:

• Tapi dia diberi kode sendiri:sparkling_heart:, jadi

• Saya harap semua orang dapat memberikan lebih banyak bintang untuk mendukung pemula NLP ini dan teman-temannya?

?latar belakang

Proyek ini sebenarnya merupakan sub-modul dari desain mata kuliah rekayasa perangkat lunak. Tujuan kami adalah mengembangkan sistem pemrosesan tiket layanan pelanggan yang cerdas.

Alur kerja sebenarnya dari sistem perintah kerja layanan pelanggan cerdas adalah: ketika seseorang mengajukan pertanyaan ke sistem, sistem terlebih dahulu mencari basis pengetahuan untuk melihat apakah ada pertanyaan yang relevan, sistem akan mengembalikan jawaban atas pertanyaan tersebut. Jika saat ini orang tersebut belum puas, dia bisa langsung menyerahkan perintah kerja. Jika tidak ada di basis pengetahuan, chatbot ini dipanggil untuk balasan otomatis.

Skenario layanan sistem ini mirip dengan sistem layanan pelanggan Tencent Cloud. Pelanggan sebagian besar datang untuk berkonsultasi tentang masalah terkait (server cloud, nama domain, dll.), sehingga basis pengetahuan juga merupakan kumpulan konsultasi dan pemecahan masalah (pertanyaan, jawaban) tentang server cloud, nama domain, dll.

Antarmuka front-end sistem dan interaksi pesan front-end dan back-end diselesaikan oleh teman sekelas lainnya @adjlyadv, terutama menggunakan React+Django.

@Doragd bertanggung jawab untuk memperoleh basis pengetahuan dan menulis, melatih, dan menguji chatbot. Isi repo ini juga tentang hal ini.

? Uji efek

• Jawab tanpa menggunakan basis pengetahuan

• Gunakan basis pengetahuan untuk menjawab

• Efek sistem secara keseluruhan:

?Struktur proyek

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?Perpustakaan yang bergantung

Instal dependensi

$ pip install -r requirements.txt

?Memulai

Pemrosesan awal data (dapat dihilangkan)

$ python datapreprocess.py

Proses awal korpus untuk menghasilkan corpus.pth ( corpus.pth telah diunggah di sini, jadi langkah ini dapat dihilangkan )

Parameter yang dapat dimodifikasi:

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

menggunakan

• Gunakan basis pengetahuan

Saat menggunakan basis pengetahuan, Anda harus memasukkan parameter use_QA_first=True Saat ini, untuk string masukan, pertanyaan dan jawaban terbaik terlebih dahulu dicocokkan di basis pengetahuan dan dikembalikan. Jika tidak dapat ditemukan, chatbot dipanggil untuk menghasilkan balasan secara otomatis.

Basis pengetahuan di sini adalah kumpulan 100 pertanyaan umum dan jawaban yang dikumpulkan dari dokumen resmi Tencent Cloud, hanya untuk pengujian!

$ python main.py chat --use_QA_first=True

• Tidak menggunakan basis pengetahuan

Karena kebutuhan desain kursus, pasangan tanya jawab Tencent Cloud telah ditambahkan, tetapi tidak relevan dengan proyek robot obrolan, jadi ketika digunakan secara umum, use_QA_first=False , parameter ini defaultnya adalah True

$ python main.py chat --use_QA_first=False

• Gunakan parameter default

$ python main.py chat

• Keluar dari obrolan: masukkan exit , quit , atau q

Parameter lain yang dapat dikonfigurasi

Jelaskan di file config.py

Saat Anda perlu memasukkan parameter baru, Anda hanya perlu meneruskannya dari baris perintah, dalam bentuk

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

Perintah di atas menunjukkan jalur untuk memuat model yang dilatih dan apakah akan menggunakan basis pengetahuan

?Implementasi teknis

korpus

Nama korpus	Jumlah korpus	Penjelasan sumber korpus	Ciri-ciri tubuh	Sampel korpus	Apakah sudah berpartisipasi
qingyun (korpus Qingyun)	10W	Grup komunikasi chatbot	Relatif bagus, ramah kehidupan	Q: Sepertinya kamu sangat mencintai uang. A: Oh, benarkah? Maka Anda hampir sampai	TIDAK

• Sumber: https://github.com/codemayq/chinese_chatbot_corpus

Seq2Seq

• Encoder: GRU dua arah dua lapis
• Dekoder: GRU searah dua lapis

Perhatian

• Perhatian global, menggunakan titik untuk menghitung skor
• Referensi https://arxiv.org/abs/1508.04025

?Pelatihan dan evaluasi model

$ python train_eval.py train [--options]

Bagian evaluasi kuantitatif belum ditulis, harus diukur dengan kebingungan, saat ini hanya dapat menghasilkan kalimat dan mengevaluasi kualitas secara manual.

$ python train_eval.py eval [--options]

?Rekam dan ringkasan pit jumping

• Pengalaman yang paling mendalam adalah "ada kesenjangan implementasi pemrograman N antara pemahaman dan pemahaman pengetahuan deep learning". Meskipun teorinya sangat jelas bagi semua orang, dalam hal implementasi pemrograman, akan selalu ada masalah ini dan itu: mulai dari pemrosesan kumpulan data, hingga implementasi pemrograman banyak rumus, hingga penyesuaian parameter, konfigurasi GPU, dan masalah lainnya.
• Proses sebenarnya dari latihan ini adalah mengikuti Tutorial PyTorch dan melalui bagian Chatbot terlebih dahulu. Setelah menjalankannya, saya mengubah corpus, memproses corpus, dan kemudian memfaktorkan ulang kode sesuai dengan gaya kelas proses debugging, dan saya menemui banyak kendala, terutama saat memindahkan tensor ke GPU, kami menemui berbagai masalah, terutama karena kami tidak tahu persis apa yang dipindahkan kapan ke (perangkat).
  • Melalui pengujian, kami menemukan bahwa model.to(device) hanya akan memindahkan parameter ke GPU, dan tidak akan memindahkan tensor anggota yang ditentukan di kelas, jadi jika Anda menentukan tensor baru dalam metode penerusan, ingatlah untuk memindahkannya.
  • Ada juga masalah urutan pergerakan: pertama-tama pindahkan model ke GPU, lalu tentukan pengoptimalnya. Dan metode pemindahannya: model=model.to(device), jangan lupa untuk memberikan nilai.
  • GPU mudah kehabisan memori. Perhatikan penggunaan memori saat menulis kode dan minimalkan duplikasi tensor.
  • Setelah mengubah korpus bahasa Mandarin di awal, pelatihan selalu gagal untuk menyatu. Pada akhirnya, saya menemukan bahwa pengaturan batch_size terlalu kecil. Faktanya, saya merasa bahwa batch_size harus sebesar mungkin ketika memori video cukup. Sebenarnya saya pernah melihat ini sebelumnya, tetapi saya benar-benar lupa saat menulis kode. Itu menunjukkan bahwa saya kurang paham ketika melihat mini-batch saat itu. Saya masih harus benar-benar menulis kode agar bisa mengakar kuat di hati orang.
  • Masalah lainnya adalah saya salah memahami torch.long, mengira itu adalah floating point presisi tinggi, tetapi ternyata tipe int64, yang menyebabkan bug. Ini memberitahu kita untuk membaca dokumentasi dengan cermat.
  • Keuntungan terakhir adalah pemahaman tentang cara mengimplementasikan suatu model, yang mana hal ini penting.
• Faktanya, pengaruh model ini tidak terlalu bagus. Terlepas dari masalah model itu sendiri, saya menemukan bahwa kualitas segmentasi kata akan sangat mempengaruhi kualitas kalimat segmentasi kata, beberapa hasil yang aneh akan terjadi.
• Masalah lainnya adalah ketika berhadapan dengan barisan dengan panjang variabel, jika fungsi kerugian didefinisikan sendiri, akan mudah menjadi tidak stabil. Kami masih mempelajari API resmi.
• Selama praktik ini, saya juga menemukan bahwa pemahaman saya tentang beberapa parameter kurang mendalam, dan saya tidak tahu cara menyesuaikannya, sehingga saya harus melengkapi teorinya.
• Evaluasi terhadap model masih perlu dilakukan.

Ucapan Terima Kasih

• Tutorial Chatbot Resmi
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• Berikan korpus Cina
  • https://github.com/codemayq/chinese_chatbot_corpus
• Kontennya konsisten dengan Tutorial Chatbot resmi, tetapi memiliki komentar kode yang mendetail
  • http://fancyerii.github.io/2019/02/14/chatbot/
• Silakan merujuk pada metode penulisan dan kebiasaan model.
  • https://github.com/chenyuntc/pytorch-book