text dependency parser

テキスト依存関係パーサー

依存関係の分析

目次

• データ

• プログラムを実行します: モデルをトレーニングして評価します

• 依存関係を参照する

• 付録: 品詞の説明

• 付録: 構文解析 (構文ツリー)

• 付録: 関係表現

データ

フォーマットの説明: CoNLL-U フォーマット

このプログラムでは、次の形式のデータの少なくとも最初の 10 列が必要です。

リスト	名前	意味
1	ID	1から始まる単語ID
2	形状	言葉
3	補題	英語のルート、中国語の意味
4	ウポタグ	品詞 (言語間で抽象化された一連の品詞)
5	XPOSTAG	非普遍的な品詞 (言語に固有)
6	偉業	形態的特徴
7	頭	この単語が属する親ノード
8	デプレル	親ノードとの関係
9	デプス	セカンダリ関連ノード
10	その他	その他の補足情報

• 上記の各列で、値「_」は使用できないことを意味します。

• このプログラムでは、列 3、5、6、9、および 10 に「_」を含めることができ、他の列は有効な値である必要があります。

データディレクトリ内のデータ

• 中国語データセット: UD_ Chinese-GSD

https://github.com/UniversalDependency/UD_ Chinese-GSD

• 英語データセット: UD_English-EWT

https://github.com/UniversalDependency/UD_English-EWT

• 第2回自然言語処理と中国語コンピューティングカンファレンス（NLP&CC 2013）

清華大学とハルビン工業大学が提供するトレーニング セットと開発セット

他のデータセットを確認してください。

アルゴリズム

詳細な紹介: 依存関係の解析

具体的に文の依存関係ツリーを更新する場合、標準 (下から上) と熱心 (上から下) の 2 つのアイデアがあります。

埋め込む

インストール

依存関係: py2.7

 pip install -r requirements.txt

トレーニングモデル

• ニブレのアークスタンダード

 admin/standard.thu.train.sh # 训练中文模型
admin/standard.thu.test.sh  # 测试中文模型

admin/standard.ewt.train.sh # 训练英文模型
admin/standard.ewt.test.sh  # 测试英文模型

• ニヴルのアーク・イーガー

 admin/eager.thu.train.sh # 训练中文模型
admin/eager.thu.test.sh  # 测试中文模型

admin/eager.ewt.train.sh # 训练英文模型
admin/eager.ewt.test.sh  # 测试英文模型

UD_中国語-GSDの結果:

 I0316 23:19:25.249176 140736085984064 eager.py:152] accuracy: 0.760666326704
I0316 23:19:25.249367 140736085984064 eager.py:153] complete: 0.206
I0316 23:19:25.389566 140736085984064 eager.py:156] recall: 0.745088245088
I0316 23:19:25.391751 140736085984064 eager.py:158] precision: 0.760666326704
I0316 23:19:25.391916 140736085984064 eager.py:159] assigned: 0.97952047952

依存関係を参照する

conllu.js を使用して依存関係を参照します。Web ページを開いて「編集」ボタンをクリックし、CoNLL-U 形式のコンテンツをエディターに貼り付けます。たとえば、次のコンテンツを conllu.js Web ページに貼り付けます。

 1 就 _ RB RB _ 7 mark _ SpaceAfter=No
2 像 _ IN IN _ 6 case _ SpaceAfter=No
3 所有 _ DT DT _ 6 det _ SpaceAfter=No
4 的 _ DEC DEC _ 3 case:dec _ SpaceAfter=No
5 大 _ PFA PFA _ 6 case:pref _ SpaceAfter=No
6 賣場 _ NN NN _ 7 nmod _ SpaceAfter=No
7 一樣 _ JJ JJ _ 15 acl _ SpaceAfter=No
8 , _ , , _ 15 punct _ SpaceAfter=No
9 宜家 _ NNP NNP _ 10 nmod _ SpaceAfter=No
10 家居 _ NN NN _ 11 nsubj _ SpaceAfter=No
11 吸引 _ VV VV _ 14 acl:relcl _ SpaceAfter=No
12 的 _ DEC DEC _ 11 mark:relcl _ SpaceAfter=No
13 消費 _ VV VV _ 14 case:suff _ SpaceAfter=No
14 者 _ SFN SFN _ 15 nsubj _ SpaceAfter=No
15 來 _ VV VV _ 0 root _ SpaceAfter=No
16 自 _ VV VV _ 15 mark _ SpaceAfter=No
17 於 _ VV VV _ 15 mark _ SpaceAfter=No
18 範圍 _ NN NN _ 20 nsubj _ SpaceAfter=No
19 非常 _ RB RB _ 20 advmod _ SpaceAfter=No
20 廣大 _ JJ JJ _ 22 acl:relcl _ SpaceAfter=No
21 的 _ DEC DEC _ 20 mark:relcl _ SpaceAfter=No
22 地區 _ NN NN _ 15 obj _ SpaceAfter=No
23 . _ . . _ 15 punct _ SpaceAfter=No

注: 空白行は文間のマーカーとして機能するため、貼り付けるときに 17 行目の下に空白行を含めてください。

次の依存関係ツリーが取得されます。

コード構造

app/standard.pyとapp/eager.pyはトレーニング コードであり、トランジション パーサーのコア実装はapp/transitionparser.pyにあります。

パーサー

• 親クラス: TransitionBasedParser
• サブクラス: ArcStandardParser2、ArcEagerParser

構成

• 親クラス: 構成
• サブクラス: ArcStandardConfiguration、ArcEagerConfiguration

依存関係: ArcEagerConfiguration --> ArcEagerParser、ArcStandardConfiguration --> ArcStandardParser2

オラクル

決定者

特徴抽出器

電車

標準

コード：

熱心な

コード：

さらなるコンテンツ

構文解析の概要

ありがたい

CoNLL-2009 共有タスク: 複数言語の構文的および意味的依存関係

遷移ベースの依存関係パーサー

conllu.js

python︱6 つの中国語単語分割モジュールを試してください: jieba、THULAC、SnowNLP、pynlpir、CoreNLP、pyLTP

参考文献

[1] Liang Huang、Wenbin Jiang、Qun Liu、2009 年。バイリンガル制約 (モノリンガル) シフトリデュース解析。

付録

品詞、構文解析、依存関係の記号解釈

品詞の説明

 CC: conjunction, coordinatin 表示连词 
CD: numeral, cardinal 表示基数词 
DT: determiner 表示限定词 
EX: existential there 存在句 
FW: foreign word 外来词 
IN: preposition or conjunction, subordinating 介词或从属连词 
JJ: adjective or numeral, ordinal 形容词或序数词 
JJR: adjective, comparative 形容词比较级 
JJS: adjective, superlative 形容词最高级 
LS: list item marker 列表标识 
MD: modal auxiliary 情态助动词 
NN: noun, common, singular or mass 
NNS: noun, common, plural 
NNP: noun, proper, singular 
NNPS: noun, proper, plural 
PDT: pre-determiner 前位限定词 
POS: genitive marker 所有格标记 
PRP: pronoun, personal 人称代词 
PRP:pronoun,possessive所有格代词RB:adverb副词RBR:adverb,comparative副词比较级RBS:adverb,superlative副词最高级RP:particle小品词SYM:symbol符号TO:”to”asprepositionorinfinitivemarker作为介词或不定式标记UH:interjection插入语VB:verb,baseformVBD:verb,pasttenseVBG:verb,presentparticipleorgerundVBN:verb,pastparticipleVBP:verb,presenttense,not3rdpersonsingularVBZ:verb,presenttense,3rdpersonsingularWDT:WH−determinerWH限定词WP:WH−pronounWH代词WP: WH-pronoun, possessive WH所有格代词 
WRB:Wh-adverb WH副词

中国語品詞タグ標準：ICTPOS3.0品詞タグセット

構文解析（構文ツリー）

 ROOT：要处理文本的语句 
IP：简单从句 
NP：名词短语 
VP：动词短语 
PU：断句符，通常是句号、问号、感叹号等标点符号 
LCP：方位词短语 
PP：介词短语 
CP：由‘的’构成的表示修饰性关系的短语 
DNP：由‘的’构成的表示所属关系的短语 
ADVP：副词短语 
ADJP：形容词短语 
DP：限定词短语 
QP：量词短语 
NN：常用名词 
NR：固有名词：表示仅适用于该项事物的名词，含地名，人名，国名，书名，团体名称以及一事件的名称等。 
NT：时间名词 
PN：代词 
VV：动词 
VC：是 
CC：表示连词 
VE：有 
VA：表语形容词 
AS：内容标记（如：了） 
VRD：动补复合词 
CD: 表示基数词 
DT: determiner 表示限定词 
EX: existential there 存在句 
FW: foreign word 外来词 
IN: preposition or conjunction, subordinating 介词或从属连词 
JJ: adjective or numeral, ordinal 形容词或序数词 
JJR: adjective, comparative 形容词比较级 
JJS: adjective, superlative 形容词最高级 
LS: list item marker 列表标识 
MD: modal auxiliary 情态助动词 
PDT: pre-determiner 前位限定词 
POS: genitive marker 所有格标记 
PRP: pronoun, personal 人称代词 
RB: adverb 副词 
RBR: adverb, comparative 副词比较级 
RBS: adverb, superlative 副词最高级 
RP: particle 小品词 
SYM: symbol 符号 
TO:”to” as preposition or infinitive marker 作为介词或不定式标记 
WDT: WH-determiner WH限定词 
WP: WH-pronoun WH代词 
WP$: WH-pronoun, possessive WH所有格代词 
WRB:Wh-adverb WH副词

リレーショナル表現

 abbrev: abbreviation modifier，缩写 
acomp: adjectival complement，形容词的补充； 
advcl : adverbial clause modifier，状语从句修饰词 
advmod: adverbial modifier状语 
agent: agent，代理，一般有by的时候会出现这个 
amod: adjectival modifier形容词 
appos: appositional modifier,同位词 
attr: attributive，属性 
aux: auxiliary，非主要动词和助词，如BE,HAVE SHOULD/COULD等到 
auxpass: passive auxiliary 被动词 
cc: coordination，并列关系，一般取第一个词 
ccomp: clausal complement从句补充 
complm: complementizer，引导从句的词好重聚中的主要动词 
conj : conjunct，连接两个并列的词。 
cop: copula。系动词（如be,seem,appear等），（命题主词与谓词间的）连系 
csubj : clausal subject，从主关系 
csubjpass: clausal passive subject 主从被动关系 
dep: dependent依赖关系 
det: determiner决定词，如冠词等 
dobj : direct object直接宾语 
expl: expletive，主要是抓取there 
infmod: infinitival modifier，动词不定式 
iobj : indirect object，非直接宾语，也就是所以的间接宾语； 
mark: marker，主要出现在有“that” or “whether”“because”, “when”, 
mwe: multi-word expression，多个词的表示 
neg: negation modifier否定词 
nn: noun compound modifier名词组合形式 
npadvmod: noun phrase as adverbial modifier名词作状语 
nsubj : nominal subject，名词主语 
nsubjpass: passive nominal subject，被动的名词主语 
num: numeric modifier，数值修饰 
number: element of compound number，组合数字 
parataxis: parataxis: parataxis，并列关系 
partmod: participial modifier动词形式的修饰 
pcomp: prepositional complement，介词补充 
pobj : object of a preposition，介词的宾语 
poss: possession modifier，所有形式，所有格，所属 
possessive: possessive modifier，这个表示所有者和那个’S的关系 
preconj : preconjunct，常常是出现在 “either”, “both”, “neither”的情况下 
predet: predeterminer，前缀决定，常常是表示所有 
prep: prepositional modifier 
prepc: prepositional clausal modifier 
prt: phrasal verb particle，动词短语 
punct: punctuation，这个很少见，但是保留下来了，结果当中不会出现这个 
purpcl : purpose clause modifier，目的从句 
quantmod: quantifier phrase modifier，数量短语 
rcmod: relative clause modifier相关关系 
ref : referent，指示物，指代 
rel : relative 
root: root，最重要的词，从它开始，根节点 
tmod: temporal modifier 
xcomp: open clausal complement 
xsubj : controlling subject 掌控者

チャトペラクラウドサービス

https://bot.chatopera.com/

Chatoperaクラウドサービスは、チャットロボットをワンストップで導入できるクラウドサービスで、インターフェースの呼び出し回数に応じて課金されます。 Chatopera Cloud Service は、Chatopera ボット プラットフォームの Software-as-a-Service インスタンスです。 Chatopera クラウド サービスは、クラウド コンピューティングに基づいたサービスとしてのチャットボットクラウド サービスです。

Chatopera ロボット プラットフォームには、ナレッジ ベース、マルチラウンド ダイアログ、意図認識と音声認識、標準化されたチャット ロボット開発などのコンポーネントが含まれており、エンタープライズ OA インテリジェント Q&A、HR インテリジェント Q&A、インテリジェント カスタマー サービス、オンライン マーケティングなどのシナリオをサポートします。企業の IT 部門とビジネス部門は Chatopera クラウド サービスを使用して、チャットボットを迅速にオンラインにします。

展開すると、Chatopera クラウド サービスの製品スクリーンショットが表示されます

ユーザー辞書

カスタム用語

インテントの作成

引数とスロットを追加する

トレーニングモデル

テスト会話

ロボットのポートレート

システム統合

チャット履歴

今すぐ使用