dynamic_neural_text_model

Dynamisches neuronales Textmodell

Ein neuronales Sprachmodell zur dynamischen Darstellung der Bedeutung unbekannter Wörter und Entitäten in einem Diskurs, Sosuke Kobayashi, Naoaki Okazaki, Kentaro Inui, IJCNLP 2017.

Dynamische Entitätsdarstellung in 1 Minute

Die dynamische Entitätsdarstellung wurde erstmals von Kobayashi et al. vorgeschlagen. (2016) . Es konstruiert dynamisch Bedeutungsdarstellungen von Wörtern und Entitäten in einem Diskurs. Unsere Arbeit erweitert es und wendet es auf neuronale Sprachmodelle an. Sowohl die Eingabeworteinbettungen als auch die Ausgabeworteinbettungsmatrix in einem Sprachmodell werden dynamisch aus Kontexten erstellt, die jedes Wort umgeben.

Verwandte Arbeiten zur dynamischen Entitätsdarstellung

(Zitiert aus unserem Artikel (siehe Abschnitt 6))

Wir fassen Arbeiten für entitätszentrierte neuronale Netze zusammen, die ein Dokument lesen, und vergleichen sie. Kobayashi et al. (2016) leisteten Pionierarbeit bei entitätszentrierten neuronalen Modellen, die Zustände in einem Diskurs verfolgen. Sie schlugen eine dynamische Entitätsdarstellung vor, die Kontexte von Entitäten kodiert und die Zustände mithilfe entitätsbezogener Erinnerungen aktualisiert. Wiseman et al. (2016) verwalteten solche entitätsbezogenen Merkmale auch in neuronalen Netzen und verbesserten ein Koreferenzauflösungsmodell. Clark und Manning (2016b,a) verfolgten solche entitätsbezogenen Darstellungen in Erwähnungsranking-Koreferenzmodellen. Unsere Arbeit orientiert sich an Kobayashi et al. (2016) und nutzt die dynamische Entitätsdarstellung in neuronalen Sprachmodellen, die auch als neuronale Decoder für verschiedene Sequenzgenerierungsaufgaben verwendet werden, z. B. maschinelle Übersetzung und Dialogantwortgenerierung. Gleichzeitig mit unserer Arbeit haben Ji et al. (2017) verwenden die dynamische Entitätsdarstellung in einem neuronalen Sprachmodell, um die Ausgaben eines Koreferenzauflösungssystems neu zu ordnen. Yang et al. (2017) experimentieren mit der Sprachmodellierung mit Verweis auf interne Kontexte oder externe Daten. Henaff et al. (2017) konzentrieren sich auf neuronale Netze, die Kontexte von Entitäten verfolgen und so das hochmoderne Ergebnis in bAbI, einer Leseverständnisaufgabe, erzielen. Sie kodieren die Kontexte jeder Entität durch ein aufmerksamkeitsgesteuertes RNN, anstatt direkt Koreferenzlinks zu verwenden. Dhingra et al. (2017) versuchen ebenfalls, ein Leseverständnismodell mithilfe von Koreferenzlinks zu verbessern. Als ähnliche Arbeit zur dynamischen Entitätsdarstellung haben Bahdanau et al. (2017) konstruieren spontane Worteinbettungen seltener Wörter aus Wörterbuchdefinitionen.

Die erste Schlüsselkomponente der dynamischen Entitätsdarstellung ist eine Funktion zum Zusammenführen mehrerer Kontexte zu einer Entität zu einer konsistenten Darstellung der Entität. Es gibt verschiedene Auswahlmöglichkeiten für die Funktion, z. B. maximales oder durchschnittliches Pooling (Kobayashi et al., 2016; Clark und Manning, 2016b), RNN (GRU, LSTM (Wiseman et al., 2016; Yang et al., 2017) oder andere Gated RNNs (Henaff et al., 2017; Ji et al., 2017)) oder nur die Verwendung des neuesten Kontexts (ohne jeglichen). Verschmelzung) (Yang et al., 2017). Dieses Papier ist die erste Arbeit, in der die Auswirkungen dieser Entscheidungen verglichen werden (siehe Abschnitt 5.2.2).

Die zweite Komponente ist eine Funktion zum Kodieren von Kontexten aus Text, z. B. bidirektionales RNN, das umgebenden Kontext kodiert (Kobayashi et al., 2016), unidirektionales RNN, das in einem Sprachmodell verwendet wird (Ji et al., 2017; Yang et al., 2017). , Feedforward-Neuronales Netzwerk mit einem Satzvektor und dem Wortvektor einer Entität (Henaff et al., 2017) oder handgefertigte Funktionen mit Worteinbettungen (Wiseman et al., 2016; Clark und Manning, 2016b). Dieses Papier verwendet bi-RNN sowie Kobayashi et al. (2016), das mit leistungsstarken lernbaren Einheiten auf den vollständigen Kontext zugreifen kann.

Zitat

 @InProceedings{kobayashi:2017,
  author    = {Kobayashi, Sosuke  and  Okazaki, Naoaki  and  Inui, Kentaro},
  title     = {A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse.},
  booktitle = {Proceedings of the IJCNLP 2017},
  year      = {2017},
  url       = {https://arxiv.org/abs/1709.01679}
}

 @InProceedings{kobayashi-EtAl:2016:N16-1,
  author    = {Kobayashi, Sosuke  and  Tian, Ran  and  Okazaki, Naoaki  and  Inui, Kentaro},
  title     = {Dynamic Entity Representation with Max-pooling Improves Machine Reading},
  booktitle = {Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies},
  month     = {June},
  year      = {2016},
  address   = {San Diego, California},
  publisher = {Association for Computational Linguistics},
  pages     = {850--855},
  url       = {http://www.aclweb.org/anthology/N16-1099}
}