OpenDialog

BukaDialog

Kami sekarang memiliki antarmuka pengujian, yang dapat digunakan dengan mencari OpenDialog akun publik WeChat

OpenDialog dibangun di atas transformator berbasis PyTorch. Menyediakan serangkaian model dialog domain terbuka Tiongkok berbasis transformator (percakapan obrolan), mengumpulkan sumber daya data yang ada, dan terus melengkapi kumpulan data sistem percakapan Tiongkok terkait, dengan tujuan membangun platform dialog obrolan Tiongkok sumber terbuka.

Perkembangan terkini:

• 20.8.2020, menyelesaikan antarmuka model pra-pelatihan Open-Domain generatif LCCC-GPT-Large, dan menjalankan kode berikut untuk memulai layanan yang sesuai

  ./run_flask lccc < gpu_id >

• 26.10.2020, menyelesaikan sejumlah model dialog pengambilan bi-encoder (bert-bi-encoder, polyencoder, dll.)

• ...

tutorial

1. Penjelasan singkat tentang struktur dan dokumen proyek

File dan direktori inti OpenDialog:

• data : kumpulan data, file konfigurasi, daftar kata, vektor kata, skrip pemrosesan kumpulan data
• models : model dialog
• metrics : indikator evaluasi
• multiview : model pemeringkatan ulang multi-sudut, pemeringkatan ulang untuk mendapatkan tanggapan kandidat dialog
• ckpt : menyimpan model pelatihan
• rest : menyimpan log tensorboard dan file hasil yang dihasilkan selama fase pengujian
• utils : menyimpan fungsi alat
• dataloader.py : Skrip pemuatan kumpulan data
• main.py : file utama yang sedang berjalan
• header.py : paket yang perlu diimpor
• eval.py : Panggil skrip evaluasi indikator evaluasi dalam metrics untuk menguji hasil file yang dihasilkan secara rest
• run.sh : menjalankan skrip batch
• run_flask.sh : Panggil model dan mulai layanan

2. Mempersiapkan lingkungan

1. Lingkungan sistem dasar: Linux/Ubuntu-16.04+ , Python 3.6+ , GPU (default 1080 Ti)

2. Instal perpustakaan yang bergantung pada python

pip install -r requirements.txt

3. Instal ElasticSearch

   Sistem dialog berbasis pengambilan harus terlebih dahulu menggunakan elasticsearch untuk penyaringan kasar. Pada saat yang sama, untuk mencapai segmentasi kata berbahasa Mandarin pada tahap pengambilan penyaringan kasar, segmenter kata berbahasa Mandarin perlu diunduh dan diinstal.

4. Instal mongodb

   Setelah memulai layanan, mongodb akan digunakan untuk menyimpan riwayat sesi dan data yang diperlukan

3. Siapkan datanya

1. Tautan kumpulan data Baidu Cloud: https://pan.baidu.com/s/1xJibJmOOCGIzmJVC6CZ39Q;
2. Simpan file data terkait di subdirektori terkait di bawah direktori data , dan simpan file vektor kata chinese_w2v.txt dan english_w2v.bin di bawah data .
3. Lihat data/README.md untuk detail data dan data yang telah diproses sebelumnya.
4. Kumpulan data yang tersedia

5. Model pelatihan

• Model pelatihan mendukung paralelisme multi-GPU. Anda hanya perlu menentukan beberapa id GPU <gpu_ids> , seperti 0,1,2,3
• Nama dataset sesuai dengan nama di direktori data .

Model	CMD	Jenis	Detail	Merujuk	Model Pra-kereta
bertrieval	./run.sh melatih <kumpulan data> bertretrieval <gpu_ids>	pengambilan	Model penyempurnaan berbasis Bert (penyempurnaan)	Kertas
gpt2	./run.sh melatih <kumpulan data> gpt2 <gpu_ids>	generatif	Model dialog generatif GPT2	Kode
gpt2gan	./run.sh melatih <kumpulan data> gpt2gan <gpu_ids>	generatif	Model dialog berbasis GAN, model generatif GPT2, dan model diskriminan adalah model dua klasifikasi BERT.	Kertas

6. Hasil percobaan

7. Mulai layanan labu

1. Mulai layanan labu

    ./run_flask.sh <model_name> <gpu_id>
   

2. Antarmuka panggilan

   • Akun publik WeChat
   • tukang pos