evaluasi dialog

dialog-eval ·

Repo ringan untuk evaluasi otomatis model dialog menggunakan 17 metrik .

Fitur

? Pilih metrik mana yang ingin Anda hitung
Evaluasi dapat dijalankan secara otomatis pada file respons atau direktori yang berisi banyak file
? Metrik disimpan dalam format yang telah ditentukan sebelumnya dan mudah diproses
️ Program ini memperingatkan Anda jika beberapa file yang diperlukan untuk menghitung metrik tertentu hilang

Metrik

• Panjang respons : Jumlah kata dalam respons.
• Entropi per kata : Probabilitas kata dihitung berdasarkan frekuensi yang diamati dalam data pelatihan. Entropi pada tingkat bigram juga dihitung.
• Entropi ucapan : Produk entropi per kata dan panjang respons. Juga dihitung pada tingkat bigram.
• Divergensi KL : Mengukur seberapa baik distribusi kata dari respons model mendekati distribusi kebenaran dasar. Juga dihitung pada tingkat bigram (dengan distribusi bigram).
• Penyematan : Penyematan rata-rata , ekstrem , dan serakah diukur. rata-rata mengukur kesamaan kosinus antara rata-rata vektor kata tanggapan dan ucapan sasaran. ekstrem membangun representasi dengan mengambil nilai absolut terbesar untuk setiap dimensi di antara vektor kata dalam ujaran respons dan sasaran serta mengukur kesamaan kosinus di antara keduanya. serakah mencocokkan setiap token respons dengan token target (dan sebaliknya) berdasarkan kesamaan kosinus antara ebeddingsnya dan rata-rata skor total di semua kata.
• Koherensi : Kesamaan kosinus representasi masukan dan respons (dibangun dengan metode penyematan kata rata-rata).
• Berbeda : Berbeda-1 dan berbeda-2 mengukur rasio unigram/bigram unik terhadap jumlah total unigram/bigram dalam serangkaian respons.
• BLEU : Mengukur n-gram tumpang tindih antara respon dan target (n = [1,2,3,4]). Metode penghalusan dapat dipilih dalam argumen.

Pengaturan

Jalankan perintah ini untuk menginstal paket yang diperlukan:

 pip install -r requirements.txt

Penggunaan

File utama dapat dipanggil dari mana saja, tetapi saat menentukan jalur ke direktori, Anda harus memberikannya dari root repositori.

 python code/main.py -h

Untuk dokumentasi lengkap kunjungi wiki.

Format masukan

Anda harus menyediakan sebanyak mungkin jalur argumen yang diperlukan (gambar di atas). Jika Anda melewatkan beberapa, program akan tetap berjalan, namun tidak akan menghitung beberapa metrik yang memerlukan file tersebut (program akan mencetak metrik ini). Jika Anda memiliki file data pelatihan, program ini dapat secara otomatis menghasilkan kosakata dan mengunduh penyematan fastText.

Jika Anda tidak ingin menghitung semua metrik, Anda dapat mengatur metrik mana yang harus dihitung dalam file konfigurasi dengan sangat mudah.

Menyimpan format

Sebuah file akan disimpan ke direktori tempat file respons berada. Baris pertama berisi nama metrik, lalu setiap baris berisi metrik untuk satu file. Nama file diikuti dengan nilai metrik individual yang dipisahkan dengan spasi. Setiap metrik terdiri dari tiga angka yang dipisahkan dengan koma: mean, deviasi standar, dan interval kepercayaan. Anda dapat mengatur nilai t interval kepercayaan dalam argumen, defaultnya adalah kepercayaan 95%.

Hasil & Contoh

Transformer dilatih di DailyDialog

Menariknya, ke-17 metrik tersebut meningkat hingga titik tertentu dan kemudian stagnan tanpa terjadi overfitting selama pelatihan model Transformer di DailyDialog. Periksa lampiran makalah untuk mengetahui gambarnya.

TRF adalah model Transformer yang dievaluasi pada kerugian validasi minimum dan TRF-O adalah model Transformer yang dievaluasi setelah 150 periode pelatihan, saat metrik mulai stagnan. RT berarti tanggapan yang dipilih secara acak dari set pelatihan dan GT berarti tanggapan kebenaran dasar.

Transformer dilatih di Cornell

TRF adalah model Transformer, sedangkan RT berarti respons yang dipilih secara acak dari set pelatihan dan GT berarti respons kebenaran dasar. Hasil ini diukur pada set pengujian di pos pemeriksaan yang kehilangan validasinya minimal.

Transformer dilatih di Twitter

TRF adalah model Transformer, sedangkan RT berarti respons yang dipilih secara acak dari set pelatihan dan GT berarti respons kebenaran dasar. Hasil ini diukur pada set pengujian di pos pemeriksaan yang kehilangan validasinya minimal.

Berkontribusi

Periksa masalah untuk mengetahui beberapa tambahan yang memerlukan bantuan. Kontribusi apa pun dipersilakan ❤️

Silakan coba ikuti gaya sintaks kode yang digunakan dalam repo (flake8, indentasi 2 spasi, 80 baris char, banyak berkomentar, dll.)

Metrik baru dapat ditambahkan dengan membuat kelas untuk metrik tersebut, yang menangani penghitungan data metrik yang diberikan. Periksa metrik BLEU sebagai contoh. Biasanya fungsi init menangani pengaturan data apa pun yang diperlukan nanti, dan update_metrics memperbarui dict metrik menggunakan contoh argumen saat ini. Di dalam kelas Anda harus menentukan dict self.metrics, yang menyimpan daftar nilai metrik untuk file pengujian tertentu. Nama-nama metrik ini (kunci kamus) juga harus ditambahkan dalam file konfigurasi ke self.metrics. Terakhir, Anda perlu menambahkan instance kelas metrik Anda ke self.objects. Di sini, saat inisialisasi, Anda dapat menggunakan jalur ke file data jika metrik Anda memerlukan penyiapan apa pun. Setelah ini, metrik Anda akan dihitung dan disimpan secara otomatis.

Namun, Anda juga harus menambahkan beberapa batasan pada metrik Anda, misalnya jika file yang diperlukan untuk penghitungan metrik tidak ada, pengguna harus diberi tahu, seperti di sini.

Penulis

• Richard Csaky (Jika Anda memerlukan bantuan dalam menjalankan kode: [email protected])

Lisensi

Proyek ini dilisensikan di bawah Lisensi MIT - lihat file LISENSI untuk detailnya.
Harap sertakan tautan ke repo ini jika Anda menggunakannya dalam pekerjaan Anda dan pertimbangkan untuk mengutip makalah berikut:

 @inproceedings{Csaky:2019,
    title = "Improving Neural Conversational Models with Entropy-Based Data Filtering",
    author = "Cs{'a}ky, Rich{'a}rd and Purgai, Patrik and Recski, G{'a}bor",
    booktitle = "Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2019",
    address = "Florence, Italy",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P19-1567",
    pages = "5650--5669",
}