node synonyms

Ai源碼

Synonyms

下載

自然語言處理推薦入門&工具書

本書由Synonyms 作者參與著作。

快速購書鏈接

《智能問答與深度學習》這本書是服務於準備入門機器學習和自然語言處理的學生和軟體工程師的，在理論上介紹了很多原理、算法，同時也提供很多示例程序增加實踐性，這些程序被匯總到範例程式碼庫，這些程式主要是幫助大家理解原理和演算法的，歡迎大家下載和執行。程式碼庫的位址是：

https://github.com/l11x0m7/book-of-qna-code

Synonyms

Chinese Synonyms for Natural Language Processing and Understanding.

最好的中文近義詞工具包。

synonyms可以用於自然語言理解的許多任務：文字對齊，推薦演算法，相似度計算，語義偏移，關鍵字提取，概念提取，自動摘要，搜尋引擎等。

chatoper banner

Welcome

 npm install node-synonyms

本專案為Synonyms 的Node.js 版工具包，穩定版本為v1，在Mac OSX及Linux下完成測試。目前打包後，npm module有47MB，是由於詞表檔案很大，下載時需要耐心。

支援使用環境變數配置：

環境變數	描述	預設值
SYN_MODEL_W2V_PATH	word2vec訓練後得到的詞向量文件	node_modules/node-synonyms/data/words.vector
SYN_WORDSEG_CUSTOM_DICT	分詞用戶字典	node_modules/node-synonyms/data/tokenizer/user.dict.utf8
SYN_WORDSEG_STOPWORD_DICT	分詞停用詞詞典	node_modules/node-synonyms/data/tokenizer/stop_words.utf8
SYN_WORDSEG_PUNCT_DICT	分詞標點字典	node_modules/node-synonyms/data/tokenizer/punctuation.utf8

API

 var synonyms = require("node-synonyms") # 使用上述环境变量做定制化

所有介面回傳值都是Promise。

synonyms#seg(sentence, [stopwords, punct])

分詞接口

 let sen1 = "移动互联网";
synonyms.seg(sen1, true, true)
    .then(function(words){
        // do your magic
        });

stopwords(Boolean)是否保留停用詞，punct(Boolean)是否保留標點符號。

傳回值

[String]，用詞語組成的列表。

 ["移动","互联网"]

synonyms#vector(word)

傳回一個字的向量

 synonyms.vector("股市")
    .then(function(v){
        // do your magic
        })

返回值JSONArray

[float] ，100維的float值所組成的向量。

synonyms#display(word)

印出一個字的鄰居及相關度

 synonyms.display("飞机");

返回值輸出控制台，作為調試使用。

synonyms#nearby(word)

回傳一個字的鄰居們

 synonyms.nearby("股市")
    .then(function(results){
            // do your magic
        });

返回值JSONArray

[[words], [scores]] ，包含兩個列表，第一個是詞語，第二個是對應位置詞語的距離分數，同樣是在[0~1]區間，越接近1越相似。

比如：

 [
    ["股市","股价","股票市场","股灾","楼市","股票","香港股市","行情","恒指","金融市场"],
    [1,0.786284,0.784575,0.751607,0.712255,0.712179,0.710806,0.694434,0.67501,0.666439]
]

synonyms#compare(sentence1, sentence2)

比較兩句的相似性

 let sen1 = "移动互联网";
let sen2 = "互联网";
synonyms.compare(sen1, sen2)
    .then(function(similarity){
        // do your magic
    });

傳回值float

相似度是在信賴區間[0~1]的float值，越接近1越相似。

Contribute

 admin/test.sh # 单元测试

Give credits to

nodejieba

fast-levenshtein

compute-cosine-distance

node-word2vec-reader

Statement

Synonyms發布證書GPL3.0。資料和程式可用於研究和商業產品，必須註明引用和地址，例如發布的任何媒體、期刊、雜誌或部落格等內容。

 @online{Synonyms:hain2017,
  author = {Hai Liang Wang, Hu Ying Xi},
  title = {中文近义词工具包Synonyms},
  year = 2017,
  url = {https://github.com/huyingxi/Synonyms},
  urldate = {2017-09-27}
}