의존성 분석
데이터
프로그램 실행: 모델 학습 및 평가
종속성 찾아보기
부록: 품사 설명
부록: 구문 분석(구문 트리)
부록: 관계 표현
형식 설명: CoNLL-U 형식
이 프로그램에는 다음 형식의 데이터 중 최소한 처음 10개 열이 필요합니다.
목록 | 이름 | 의미 |
---|---|---|
1 | ID | 1부터 시작하는 단어 ID |
2 | 형태 | 단어 |
3 | 기본정리 | 영어 어근, 중국어 의미 |
4 | 우포스태그 | 품사(언어별로 추상화된 품사 집합) |
5 | 엑스포스태그 | 비보편적 품사(언어에 따라 다름) |
6 | 업적 | 형태학적 특성 |
7 | 머리 | 이 단어가 속한 상위 노드 |
8 | 데프렐 | 상위 노드와의 관계 |
9 | 뎁스 | 보조 관련 노드 |
10 | 기타 | 기타 보충 정보 |
위의 각 열에서 '_' 값은 사용할 수 없음을 의미합니다.
이 프로그램에서는 3, 5, 6, 9, 10번 컬럼에 '_'를 허용하고, 나머지 컬럼은 유효한 값이어야 합니다.
https://github.com/UniversalDependency/UD_China-GSD
https://github.com/UniversalDependency/UD_English-EWT
Tsinghua University 및 Harbin Institute of Technology에서 제공하는 훈련 세트 및 개발 세트
다른 데이터세트를 확인해 보세요.
자세한 소개: 종속성 구문 분석
문장의 종속성 트리를 구체적으로 업데이트할 때 표준(아래에서 위로)과 열망(위에서 아래로)이라는 두 가지 아이디어가 있습니다.
종속성: py2.7
pip install -r requirements.txt
admin/standard.thu.train.sh # 训练中文模型
admin/standard.thu.test.sh # 测试中文模型
admin/standard.ewt.train.sh # 训练英文模型
admin/standard.ewt.test.sh # 测试英文模型
admin/eager.thu.train.sh # 训练中文模型
admin/eager.thu.test.sh # 测试中文模型
admin/eager.ewt.train.sh # 训练英文模型
admin/eager.ewt.test.sh # 测试英文模型
UD_중국어-GSD 에 대한 결과:
I0316 23:19:25.249176 140736085984064 eager.py:152] accuracy: 0.760666326704
I0316 23:19:25.249367 140736085984064 eager.py:153] complete: 0.206
I0316 23:19:25.389566 140736085984064 eager.py:156] recall: 0.745088245088
I0316 23:19:25.391751 140736085984064 eager.py:158] precision: 0.760666326704
I0316 23:19:25.391916 140736085984064 eager.py:159] assigned: 0.97952047952
conllu.js를 사용하여 종속성을 찾아보세요. 웹 페이지를 열고 "편집" 버튼을 클릭한 다음 CoNLL-U 형식 콘텐츠를 편집기에 붙여넣으세요. 예를 들어 conllu.js 웹 페이지에 다음 콘텐츠를 붙여넣습니다.
1 就 _ RB RB _ 7 mark _ SpaceAfter=No
2 像 _ IN IN _ 6 case _ SpaceAfter=No
3 所有 _ DT DT _ 6 det _ SpaceAfter=No
4 的 _ DEC DEC _ 3 case:dec _ SpaceAfter=No
5 大 _ PFA PFA _ 6 case:pref _ SpaceAfter=No
6 賣場 _ NN NN _ 7 nmod _ SpaceAfter=No
7 一樣 _ JJ JJ _ 15 acl _ SpaceAfter=No
8 , _ , , _ 15 punct _ SpaceAfter=No
9 宜家 _ NNP NNP _ 10 nmod _ SpaceAfter=No
10 家居 _ NN NN _ 11 nsubj _ SpaceAfter=No
11 吸引 _ VV VV _ 14 acl:relcl _ SpaceAfter=No
12 的 _ DEC DEC _ 11 mark:relcl _ SpaceAfter=No
13 消費 _ VV VV _ 14 case:suff _ SpaceAfter=No
14 者 _ SFN SFN _ 15 nsubj _ SpaceAfter=No
15 來 _ VV VV _ 0 root _ SpaceAfter=No
16 自 _ VV VV _ 15 mark _ SpaceAfter=No
17 於 _ VV VV _ 15 mark _ SpaceAfter=No
18 範圍 _ NN NN _ 20 nsubj _ SpaceAfter=No
19 非常 _ RB RB _ 20 advmod _ SpaceAfter=No
20 廣大 _ JJ JJ _ 22 acl:relcl _ SpaceAfter=No
21 的 _ DEC DEC _ 20 mark:relcl _ SpaceAfter=No
22 地區 _ NN NN _ 15 obj _ SpaceAfter=No
23 . _ . . _ 15 punct _ SpaceAfter=No
참고: 빈 줄은 문장 사이의 표시 역할을 하므로 붙여넣을 때 17번 줄 아래에 빈 줄을 포함합니다.
다음 종속성 트리가 얻어집니다.
app/standard.py 및 app/eager.py 는 학습 코드이며 전환 파서 의 핵심 구현은 app/transitionparser.py 에 있습니다.
종속성: ArcEagerConfiguration --> ArcEagerParser, ArcStandardConfiguration --> ArcStandardParser2
암호:
암호:
구문 분석 소개
CoNLL-2009 공유 작업: 여러 언어의 구문 및 의미 종속성
전환 기반 종속성 파서
conllu.js
python︱6개의 중국어 단어 분할 모듈을 사용해 보세요: jieba, THULAC, SnowNLP, pynlpir, CoreNLP, pyLTP
[1] Liang Huang, Wenbin Jiang 및 Qun Liu 2009. 이중 언어로 제한된(단일 언어) 시프트 감소 구문 분석.
CC: conjunction, coordinatin 表示连词
CD: numeral, cardinal 表示基数词
DT: determiner 表示限定词
EX: existential there 存在句
FW: foreign word 外来词
IN: preposition or conjunction, subordinating 介词或从属连词
JJ: adjective or numeral, ordinal 形容词或序数词
JJR: adjective, comparative 形容词比较级
JJS: adjective, superlative 形容词最高级
LS: list item marker 列表标识
MD: modal auxiliary 情态助动词
NN: noun, common, singular or mass
NNS: noun, common, plural
NNP: noun, proper, singular
NNPS: noun, proper, plural
PDT: pre-determiner 前位限定词
POS: genitive marker 所有格标记
PRP: pronoun, personal 人称代词
PRP:pronoun,possessive所有格代词RB:adverb副词RBR:adverb,comparative副词比较级RBS:adverb,superlative副词最高级RP:particle小品词SYM:symbol符号TO:”to”asprepositionorinfinitivemarker作为介词或不定式标记UH:interjection插入语VB:verb,baseformVBD:verb,pasttenseVBG:verb,presentparticipleorgerundVBN:verb,pastparticipleVBP:verb,presenttense,not3rdpersonsingularVBZ:verb,presenttense,3rdpersonsingularWDT:WH−determinerWH限定词WP:WH−pronounWH代词WP: WH-pronoun, possessive WH所有格代词
WRB:Wh-adverb WH副词
중국어 품사 태깅 표준 : ICTPOS3.0 품사 태그 세트
ROOT:要处理文本的语句
IP:简单从句
NP:名词短语
VP:动词短语
PU:断句符,通常是句号、问号、感叹号等标点符号
LCP:方位词短语
PP:介词短语
CP:由‘的’构成的表示修饰性关系的短语
DNP:由‘的’构成的表示所属关系的短语
ADVP:副词短语
ADJP:形容词短语
DP:限定词短语
QP:量词短语
NN:常用名词
NR:固有名词:表示仅适用于该项事物的名词,含地名,人名,国名,书名,团体名称以及一事件的名称等。
NT:时间名词
PN:代词
VV:动词
VC:是
CC:表示连词
VE:有
VA:表语形容词
AS:内容标记(如:了)
VRD:动补复合词
CD: 表示基数词
DT: determiner 表示限定词
EX: existential there 存在句
FW: foreign word 外来词
IN: preposition or conjunction, subordinating 介词或从属连词
JJ: adjective or numeral, ordinal 形容词或序数词
JJR: adjective, comparative 形容词比较级
JJS: adjective, superlative 形容词最高级
LS: list item marker 列表标识
MD: modal auxiliary 情态助动词
PDT: pre-determiner 前位限定词
POS: genitive marker 所有格标记
PRP: pronoun, personal 人称代词
RB: adverb 副词
RBR: adverb, comparative 副词比较级
RBS: adverb, superlative 副词最高级
RP: particle 小品词
SYM: symbol 符号
TO:”to” as preposition or infinitive marker 作为介词或不定式标记
WDT: WH-determiner WH限定词
WP: WH-pronoun WH代词
WP$: WH-pronoun, possessive WH所有格代词
WRB:Wh-adverb WH副词
abbrev: abbreviation modifier,缩写
acomp: adjectival complement,形容词的补充;
advcl : adverbial clause modifier,状语从句修饰词
advmod: adverbial modifier状语
agent: agent,代理,一般有by的时候会出现这个
amod: adjectival modifier形容词
appos: appositional modifier,同位词
attr: attributive,属性
aux: auxiliary,非主要动词和助词,如BE,HAVE SHOULD/COULD等到
auxpass: passive auxiliary 被动词
cc: coordination,并列关系,一般取第一个词
ccomp: clausal complement从句补充
complm: complementizer,引导从句的词好重聚中的主要动词
conj : conjunct,连接两个并列的词。
cop: copula。系动词(如be,seem,appear等),(命题主词与谓词间的)连系
csubj : clausal subject,从主关系
csubjpass: clausal passive subject 主从被动关系
dep: dependent依赖关系
det: determiner决定词,如冠词等
dobj : direct object直接宾语
expl: expletive,主要是抓取there
infmod: infinitival modifier,动词不定式
iobj : indirect object,非直接宾语,也就是所以的间接宾语;
mark: marker,主要出现在有“that” or “whether”“because”, “when”,
mwe: multi-word expression,多个词的表示
neg: negation modifier否定词
nn: noun compound modifier名词组合形式
npadvmod: noun phrase as adverbial modifier名词作状语
nsubj : nominal subject,名词主语
nsubjpass: passive nominal subject,被动的名词主语
num: numeric modifier,数值修饰
number: element of compound number,组合数字
parataxis: parataxis: parataxis,并列关系
partmod: participial modifier动词形式的修饰
pcomp: prepositional complement,介词补充
pobj : object of a preposition,介词的宾语
poss: possession modifier,所有形式,所有格,所属
possessive: possessive modifier,这个表示所有者和那个’S的关系
preconj : preconjunct,常常是出现在 “either”, “both”, “neither”的情况下
predet: predeterminer,前缀决定,常常是表示所有
prep: prepositional modifier
prepc: prepositional clausal modifier
prt: phrasal verb particle,动词短语
punct: punctuation,这个很少见,但是保留下来了,结果当中不会出现这个
purpcl : purpose clause modifier,目的从句
quantmod: quantifier phrase modifier,数量短语
rcmod: relative clause modifier相关关系
ref : referent,指示物,指代
rel : relative
root: root,最重要的词,从它开始,根节点
tmod: temporal modifier
xcomp: open clausal complement
xsubj : controlling subject 掌控者
https://bot.chatopera.com/
Chatopera 클라우드 서비스는 채팅 로봇 구현을 위한 원스톱 클라우드 서비스이며, 인터페이스 호출 횟수에 따라 요금이 청구됩니다. Chatopera Cloud Service는 Chatopera 봇 플랫폼의 SaaS(Software-as-a-Service) 인스턴스입니다. Chatopera 클라우드 서비스는 클라우드 컴퓨팅을 기반으로 하는 챗봇 서비스형 클라우드 서비스입니다.
Chatopera 로봇 플랫폼에는 지식 기반, 다단계 대화, 의도 인식 및 음성 인식, 표준화된 채팅 로봇 개발과 같은 구성 요소가 포함되어 있으며 엔터프라이즈 OA 지능형 Q&A, HR 지능형 Q&A, 지능형 고객 서비스 및 온라인 마케팅과 같은 시나리오를 지원합니다. 기업 IT 부서와 비즈니스 부서는 Chatopera 클라우드 서비스를 사용하여 신속하게 챗봇을 온라인으로 전환합니다!
맞춤 사전
맞춤 용어
의도 만들기
인수 및 슬롯 추가
훈련 모델
테스트 대화
로봇 초상화
시스템 통합
채팅 기록
지금 사용