nlp lang

nlp-lang

##MAVEN

 <dependencies>
    <dependency>
        <groupId>org.nlpcn</groupId>
        <artifactId>nlp-lang</artifactId>
        <version>1.7.6</version>
    </dependency>
</dependencies>

這個項目是一個基本包.封裝了大多數nlp項目中常用工具

工具

• √ 字詞標準化
• √ tire樹結構
• √ 雙數組tire樹
• √ 文字斷句
• √ html標籤清理
• √ Viterbi演算法增加

組件

• √ 漢字轉拼音
• √ 簡繁體轉換
• √ bloomfilter
• √ 指紋去重
• √ SimHash文章相似度計算
• √ 詞共現統計
• √ 基於記憶體的搜尋提示
• √ WordWeight詞頻統計,詞idf統計,詞組相關度統計