acl2021 education

acl2021-pendidikan

Repositori ini berisi kode untuk makalah ACL 2021 "Pembuatan Pertanyaan untuk Pendidikan Adaptif".

Kode untuk model pelatihan dan pengujian ada di subdirektori ./src . Kode untuk mereplikasi hasil dan analisis yang dilaporkan, serta analisis tambahan (dijelaskan di bawah), ada di subdirektori ./results . Kami juga menyediakan dua skrip agar mudah dimainkan dengan model penelusuran pengetahuan siswa LMKT ( play_student_model.py ) dan model pembuatan pertanyaan ( play_qg_model.py ).

Jika Anda merasa repositori ini bermanfaat, harap kutip:

 @InProceedings{acl21srivastava,
  title = 	 {Question Generation for Adaptive Education},
  author = 	 {Srivastava, Megha and Goodman, Noah},
  booktitle	=   {Association for Computational Linguistics (ACL)},
  year = 	 {2021},
}

File data mentah asli disediakan oleh Duolingo dan dapat diakses di: https://sharedtask.duolingo.com/2018.html. Jika Anda menggunakan data Duolingo, pastikan untuk mengutip:

 @inproceedings{settles-etal-2018-second,
    title = "Second Language Acquisition Modeling",
    author = "Settles, Burr  and
      Brust, Chris  and
      Gustafson, Erin  and
      Hagiwara, Masato  and
      Madnani, Nitin",
    booktitle = "Proceedings of the Thirteenth Workshop on Innovative Use of {NLP} for Building Educational Applications",
    year = "2018",
}

Ketergantungan & Langkah Pertama

requirements.txt berisi dependensi yang diperlukan untuk kode ini, dan kami juga menggunakan pustaka HuggingFaces Transformers versi 3.4.0 . Untuk mengakses semua file data, jalankan perintah cd data; unzip data.zip . Untuk mengakses semua model, termasuk model yang dapat Anda gunakan dengan skrip play_student_model.py , jalankan mkdir models; cd models , unduh file acl2021_models.zip (dari https://www.dropbox.com/s/chkdhmn54l2ptzf/acl2021_models.zip?dl=0) ke direktori models , dan jalankan unzip acl2021_models.zip .

Bermain-main dengan Penelusuran Pengetahuan Siswa LM-KT

Setelah model diunduh, Anda dapat menggunakan interaksi dengan model siswa terlatih untuk pelajar bahasa Prancis dan Spanyol (dari bahasa Inggris). Contoh perintah untuk model pelajar Perancis adalah:

python play_student_model.py -m models/lmkt_student/french_student_model

Untuk mencoba perintah yang berbeda (yang mewakili riwayat pertanyaan/jawaban siswa), ubah variabel prompts dalam skrip.

Bermain-main dengan Pembuatan Pertanyaan

Anda juga dapat berinteraksi dengan model pembuatan pertanyaan terlatih untuk pelajar bahasa Prancis dan Spanyol. Contoh perintah untuk siswa yang belajar bahasa Spanyol adalah:

python play_qg_model.py -g models/question_generation/spanish_qg

Untuk mencoba petunjuk yang berbeda (yang mewakili riwayat pertanyaan/jawaban siswa dan kontrol kesulitan ), ubah variabel prompts dalam skrip.

Analisis Lebih Lanjut

Dalam basis kode ini, kami menyertakan analisis eksplorasi lebih lanjut yang tidak disertakan dalam makalah utama. Ini dapat ditemukan di ./results/further_analysis .

Di buku catatan lmkt_trends.ipynb , kami menyelidiki pertanyaan Duolingo yang diprediksi oleh model LM-KT kami sebagai pertanyaan yang mudah bagi semua siswa (misalnya, "tidak, terima kasih"), sulit bagi semua siswa (misalnya, "kenapa kamu tidak menyentuh kura-kura itu?") , atau tingkat kesulitan yang sangat bervariasi antar siswa (misalnya "selamat tahun baru!").

Di buku catatan new_vocab.ipynb , kami menemukan bahwa selain menghasilkan pertanyaan siswa baru, model pembuatan pertanyaan kami juga menghasilkan kosakata baru , seperti operator dan teaching , kemungkinan karena kata-kata dari kelompok kata yang sama muncul di kumpulan data Duolingo.

Untuk pertanyaan apa pun, silakan hubungi [email protected]!