nlp lang

nlp-lang

##メイブン

 <dependencies>
    <dependency>
        <groupId>org.nlpcn</groupId>
        <artifactId>nlp-lang</artifactId>
        <version>1.7.6</version>
    </dependency>
</dependencies>

このプロジェクトは、nlp プロジェクトの最も一般的なツールをカプセル化した基本パッケージです。

道具

• √ Wordの標準化
• √ タイヤツリー構造
• √ ダブルアレイタイヤツリー
• √ テキストのセグメンテーション
• √ HTMLタグのクリーニング
• √ ビタビアルゴリズムの追加

コンポーネント

• √ 漢字をピンインに変換
• √ 簡体字中国語と繁体字中国語間の変換
• √ ブルームフィルター
• √ 指紋重複排除
• √ SimHash記事類似度計算
• √ 単語の共起統計
• √ メモリベースの検索プロンプト
• √ WordWeight 単語頻度統計、単語 IDF 統計、単語カテゴリ相関統計