aeae

Keyakinan berlebihan dalam menghadapi ambiguitas dengan data permusuhan

Aeaeaeaeae

Isi

Ini adalah repositori untuk kertas:

Keefonfigurasi yang berlebihan dalam menghadapi ambiguitas dengan data permusuhan. Margaret Li* dan Julian Michael,* Prosiding lokakarya pertama tentang pengumpulan data permusuhan dinamis (DADC) di NAACL 2022.

(Akronim konyol berasal dari nama kerja asli, "evaluasi evaluasi permusuhan yang ambigu")

Di repositori ini:

• aeae/ : Kode sumber untuk data, metrik, dll.
• scripts/ : Poin masuk untuk menjalankan prediksi, mengevaluasi, dan memproduksi plot untuk analisis kami.

Ralat

Dalam makalah ini, kami lupa menyebutkan bahwa data demam-nli digunakan bersama dengan SNLI dan MNLI untuk melatih model classical . Ini berarti classical dilatih pada semua data yang dikumpulkan secara non-permohonan bahwa model benih untuk ANLI dilatih.

Penggunaan

Proyek ini membutuhkan Python 3 dan ditulis menggunakan Allennlp dan Pytorch.

Pengaturan Workstation:

• Mulailah dengan python scripts/download.py dari direktori dasar untuk mengunduh set data.
• Instal dependensi Python dengan pip install -r requirements.txt .
• Dataset preprocess dengan python scripts/build_data.py .

Untuk Siaity-Check Model Training, jalankan

 MODE=tiny allennlp train config/basic.jsonnet --include-package aeae -o '{"trainer.cuda_device": -1}' -s save/tiny

Ini akan melatih model pada subset kecil MNLI menggunakan CPU. Mengubah mode sesuai dengan menggunakan sumber data yang berbeda (lihat BASIC.JSONNET) Perangkat CUDA menentukan GPU mana yang digunakan.

Dokumentasi

Instance NLI telah diproses ke dalam format berikut:

 {
  "uid": String,
  "premise": String,
  "hypothesis": String,
  "label": "e" | "c" | "n"
}

Sisa dokumentasi adalah Todo.