dynamic_neural_text_model

動的ニューラルテキストモデル

談話中の未知の単語や実体の意味を動的に表現するための神経言語モデル、小林宗介、岡崎直明、乾健太郎、IJCNLP 2017。

1分でわかる動的エンティティ表現

動的エンティティ表現は、小林らによって最初に提案されました。 (2016) 。談話内の単語やエンティティの意味表現を動的に構築します。私たちの研究ではそれを拡張し、ニューラル言語モデルに適用しています。言語モデルの入力単語埋め込み行列と出力単語埋め込み行列は両方とも、各単語の周囲のコンテキストから動的に構築されます。

動的エンティティ表現の関連作品

(私たちの論文から引用 (セクション 6 を参照))

文書を読み取るエンティティ中心のニューラル ネットワークの成果を要約し、比較します。小林ら。 (2016) 談話内の状態を追跡するエンティティ中心のニューラル モデルを開拓しました。彼らは、エンティティのコンテキストをエンコードし、エンティティごとのメモリを使用して状態を更新する動的エンティティ表現を提案しました。ワイズマンら。 (2016) は、ニューラル ネットワーク上でそのようなエンティティごとの機能も管理し、共参照解決モデルを改善しました。 Clark と Manning (2016b,a) は、言及ランキング共参照モデルにおけるそのようなエンティティごとの表現を追求しました。私たちの論文は小林らの論文に従っています。 (2016) およびニューラル言語モデルの動的なエンティティ表現を活用しています。これは、機械翻訳やダイアログ応答の生成など、さまざまなシーケンス生成タスクのニューラル デコーダとしても使用されます。私たちの論文と同時に、Ji et al. (2017) 相互参照解決システムの出力を再ランク付けするために、ニューラル言語モデルの動的エンティティ表現を使用します。ヤンら。 (2017) 内部コンテキストまたは外部データを参照して言語モデリングを実験します。ヘナフら。 (2017) エンティティのコンテキストを追跡するニューラル ネットワークに焦点を当て、読解タスクである bAbI で最先端の結果を達成しました。これらは、相互参照リンクを直接使用する代わりに、アテンションライク ゲート RNN によって各エンティティのコンテキストをエンコードします。ディングラら。 (2017) 共参照リンクを使用して読解モデルの改善も試みています。動的エンティティ表現の同様の研究として、Bahdanau et al. (2017) 辞書の定義から珍しい単語の単語埋め込みをオンザフライで構築します。

動的エンティティ表現の最初の重要なコンポーネントは、エンティティに関する複数のコンテキストをエンティティの一貫した表現にマージする機能です。関数にはさまざまな選択肢が存在します。たとえば、最大プーリングまたは平均プーリング (Kobashi et al., 2016; Clark and Manning, 2016b)、RNN (GRU、LSTM (Wiseman et al., 2016; Yang et al., 2017))、または他のゲート RNN (Henaff et al., 2017; Ji et al., 2017))、または最新のコンテキストのみを使用します (マージなし) (Yang et al., 2017)。この論文は、それらの選択の効果を比較した最初の研究です (セクション 5.2.2 を参照)。

2 番目のコンポーネントは、テキストからコンテキストをエンコードする機能です。たとえば、コンテキストを囲む双方向 RNN エンコード (Kobashi et al., 2016)、言語モデルで使用される単方向 RNN (Ji et al., 2017; Yang et al., 2017) です。 、文ベクトルとエンティティの単語ベクトル (Henaff et al., 2017) または手作りの特徴を備えたフィードフォワード ニューラル ネットワーク単語埋め込みを使用した (Wiseman et al., 2016; Clark and Manning, 2016b)。この論文では小林らと同様にbi-RNNを採用しています。 (2016) では、強力な学習可能な単元を含む完全なコンテキストにアクセスできます。

引用

 @InProceedings{kobayashi:2017,
  author    = {Kobayashi, Sosuke  and  Okazaki, Naoaki  and  Inui, Kentaro},
  title     = {A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse.},
  booktitle = {Proceedings of the IJCNLP 2017},
  year      = {2017},
  url       = {https://arxiv.org/abs/1709.01679}
}

 @InProceedings{kobayashi-EtAl:2016:N16-1,
  author    = {Kobayashi, Sosuke  and  Tian, Ran  and  Okazaki, Naoaki  and  Inui, Kentaro},
  title     = {Dynamic Entity Representation with Max-pooling Improves Machine Reading},
  booktitle = {Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies},
  month     = {June},
  year      = {2016},
  address   = {San Diego, California},
  publisher = {Association for Computational Linguistics},
  pages     = {850--855},
  url       = {http://www.aclweb.org/anthology/N16-1099}
}