Dialog_Corpus

Korpora Cina dan Inggris untuk sistem dialog

Kumpulan Data untuk Pelatihan Sistem Chatbot
Proyek ini mengumpulkan beberapa materi dialog yang ditemukan di Internet untuk melatih robot obrolan berbahasa Mandarin (Inggris).

korpus publik

Beberapa kumpulan data yang dikumpulkan adalah sebagai berikut, klik link untuk memasukkan alamat asli

1. dgk_shooter_min.conv.zip
   Korpus dialog film Tiongkok relatif berisik, dan banyak dialog tidak memiliki hubungan tanya jawab yang baik.

2. Korpus SMS NUS
   Berisi korpus pesan singkat berbahasa Mandarin dan Inggris, yang dikatakan sebagai korpus pesan singkat publik terbesar di dunia.

3. Korpus obrolan dasar Cina ChatterBot
   Mesin obrolan ChatterBot menyediakan beberapa kumpulan obrolan dasar berbahasa Mandarin. Jumlahnya kecil, tetapi kualitasnya relatif tinggi.

4. Kumpulan Data untuk Pemrosesan Bahasa Alami
   Ini adalah kumpulan data terkait pemrosesan bahasa alami yang dikumpulkan oleh orang lain. Ini terutama mencakup tiga bagian: Menjawab Pertanyaan, Sistem Dialog, dan Sistem Dialog Berorientasi Tujuan, yang semuanya merupakan teks bahasa Inggris. Dapat menggunakan terjemahan mesin ke bahasa Mandarin untuk digunakan dalam percakapan bahasa Mandarin

5. Xiaohuangji Dikatakan bahwa ini adalah korpus dari Xiaohuangji50w_fenciA.conv.zip (tersegmentasi) dan xiaohuangji50w_nofenci.conv.zip (tidak tersegmentasi)

6. Korpus tanya jawab bahasa Mandarin di Egret Times dikumpulkan dari 10.000+ pertanyaan di bagian Tanya Jawab di forum resmi Egret Times, dan catatan yang ditandai dengan "jawaban terbaik" dipilih. Tinjau data mentah secara manual dan berikan setiap pertanyaan jawaban yang dapat diterima. Saat ini korpus hanya memuat 2907 soal dan jawaban. (cadangan)

7. Repositori korpus obrolan
   kumpulan korpus obrolan dari berbagai sumber terbuka
   Termasuk: subtitle terbuka, subtitle film bahasa Inggris, lirik bahasa Mandarin, tweet bahasa Inggris

8. Korpus QA industri asuransi adalah kumpulan data yang dihasilkan dengan menerjemahkan QA asuransi. train_data berisi 12.889 soal, 141.779 data, contoh positif: contoh negatif = 1:10; data_valid berisi 2.000 soal, 22.000 data, contoh positif: contoh negatif = 1:10; 1:10

Korpus yang tidak dipublikasikan

Bagian korpus ini telah beredar di Internet, namun karena keterbatasan kemampuan kami atau penulis aslinya belum mempublikasikannya, maka belum dapat diperoleh. Baru saja terdaftar untuk pencarian di masa mendatang.

1. Microsoft XiaoIce

hak cipta

Semua korpus asli adalah milik penulis asli

menghubungkan

Dia Yunchao
weibo: @Yunchao_He