nlp lang

nlp-lang

##메이븐

 <dependencies>
    <dependency>
        <groupId>org.nlpcn</groupId>
        <artifactId>nlp-lang</artifactId>
        <version>1.7.6</version>
    </dependency>
</dependencies>

이 프로젝트는 nlp 프로젝트에서 가장 일반적인 도구를 캡슐화한 기본 패키지입니다.

도구

• √ 단어 표준화
• √ 타이어 트리 구조
• √ 이중 배열 타이어 트리
• √ 텍스트 분할
• √ HTML 태그 청소
• √ Viterbi 알고리즘 추가

구성 요소

• √ 한자를 병음으로 변환
• √ 중국어 간체와 번체 간 변환
• √ 블룸필터
• √ 지문 중복 제거
• √ SimHash 기사 유사성 계산
• √ 단어 동시출현 통계
• √ 기억 기반 검색 프롬프트
• √ WordWeight 단어 빈도 통계, 단어 IDF 통계, 단어 카테고리 상관 통계