dynamic_neural_text_model

Model Teks Neural Dinamis

Model Bahasa Neural untuk Mewakili Secara Dinamis Makna Kata dan Entitas yang Tidak Diketahui dalam Wacana, Sosuke Kobayashi, Naoaki Okazaki, Kentaro Inui, IJCNLP 2017.

Representasi Entitas Dinamis dalam 1 menit

Representasi Entitas Dinamis pertama kali diusulkan oleh Kobayashi et al. (2016) . Ia secara dinamis mengkonstruksi representasi makna dari kata-kata dan entitas dalam sebuah wacana. Pekerjaan kami memperluasnya dan menerapkannya ke dalam model bahasa saraf. Baik penyematan kata masukan maupun matriks penyematan kata keluaran dalam model bahasa dibangun secara dinamis dari konteks di sekitar setiap kata.

Pekerjaan Terkait Representasi Entitas Dinamis

(Dikutip oleh makalah kami (lihat Bagian 6))

Kami merangkum dan membandingkan karya untuk jaringan saraf yang berpusat pada entitas yang membaca dokumen. Kobayashi dkk. (2016) memelopori model saraf yang berpusat pada entitas yang melacak keadaan dalam sebuah wacana. Mereka mengusulkan Representasi Entitas Dinamis, yang mengkodekan konteks entitas dan memperbarui status menggunakan memori berdasarkan entitas. Wiseman dkk. (2016) juga mengelola fitur-fitur berdasarkan entitas pada jaringan saraf dan meningkatkan model resolusi intireferensi. Clark dan Manning (2016b,a) menerapkan representasi berdasarkan entitas dalam model inti referensi peringkat penyebutan. Makalah kami mengikuti Kobayashi et al. (2016) dan mengeksploitasi representasi entitas dinamis dalam model bahasa saraf, yang juga digunakan sebagai decoder saraf untuk berbagai tugas pembuatan urutan, misalnya terjemahan mesin dan pembuatan respons dialog. Bersamaan dengan makalah kami, Ji et al. (2017) menggunakan representasi entitas dinamis dalam model bahasa saraf untuk mengurutkan ulang keluaran sistem resolusi inti. Yang dkk. (2017) bereksperimen dengan pemodelan bahasa dengan merujuk pada konteks internal atau data eksternal. Henaff dkk. (2017) fokus pada jaringan saraf yang melacak konteks entitas, mencapai hasil canggih dalam bAbI, tugas pemahaman bacaan. Mereka menyandikan konteks setiap entitas dengan RNN yang terjaga keamanannya, alih-alih menggunakan tautan intiferensi secara langsung. Dhingra dkk. (2017) juga mencoba meningkatkan model pemahaman membaca menggunakan link coreference. Sebagai karya serupa tentang representasi entitas dinamis, Bahdanau dkk. (2017) membuat penyematan kata langsung dari kata-kata langka dari definisi kamus.

Komponen kunci pertama dari representasi entitas dinamis adalah fungsi untuk menggabungkan lebih dari satu konteks tentang suatu entitas menjadi representasi entitas yang konsisten. Terdapat berbagai pilihan fungsi, misalnya, max atau average-pooling (Kobayashi et al., 2016; Clark dan Manning, 2016b), RNN (GRU, LSTM (Wiseman et al., 2016; Yang et al., 2017) atau RNN yang terjaga keamanannya (Henaff et al., 2017; Ji et al., 2017)), atau hanya menggunakan konteks terbaru (tanpa penggabungan apa pun) (Yang et al., 2017). Makalah ini adalah karya pertama yang membandingkan dampak dari pilihan-pilihan tersebut (lihat Bagian 5.2.2).

Komponen kedua adalah fungsi untuk mengkodekan konteks dari teks, misalnya RNN dua arah yang mengkode konteks sekitar (Kobayashi et al., 2016), RNN searah yang digunakan dalam model bahasa (Ji et al., 2017; Yang et al., 2017) , jaringan saraf umpan maju dengan vektor kalimat dan vektor kata entitas (Henaff et al., 2017) atau fitur buatan tangan dengan penyematan kata (Wiseman dkk., 2016; Clark dan Manning, 2016b). Makalah ini menggunakan bi-RNN serta Kobayashi et al. (2016), yang dapat mengakses konteks penuh dengan unit-unit kuat yang dapat dipelajari.

Kutipan

 @InProceedings{kobayashi:2017,
  author    = {Kobayashi, Sosuke  and  Okazaki, Naoaki  and  Inui, Kentaro},
  title     = {A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse.},
  booktitle = {Proceedings of the IJCNLP 2017},
  year      = {2017},
  url       = {https://arxiv.org/abs/1709.01679}
}

 @InProceedings{kobayashi-EtAl:2016:N16-1,
  author    = {Kobayashi, Sosuke  and  Tian, Ran  and  Okazaki, Naoaki  and  Inui, Kentaro},
  title     = {Dynamic Entity Representation with Max-pooling Improves Machine Reading},
  booktitle = {Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies},
  month     = {June},
  year      = {2016},
  address   = {San Diego, California},
  publisher = {Association for Computational Linguistics},
  pages     = {850--855},
  url       = {http://www.aclweb.org/anthology/N16-1099}
}