catalyst下載 - catalyst原始碼下載

catalyst

Ai源碼

1.0.0

下載

catalyst是為提高速度而建置的 C# 自然語言處理函式庫。受 spaCy 設計的啟發，它帶來了預訓練模型、對訓練單字和文件嵌入的開箱即用支援以及靈活的實體識別模型。

⚡ 特點

快速、現代化的純 C# NLP 函式庫，支援 .NET 標準 2.0
跨平台，可在支援 .NET 核心的任何地方運行 - Windows、Linux、macOS 甚至 ARM
非破壞性標記化，>99.9% 無正規表示式，現代 CPU 上>1M 標記/秒
命名實體辨識（地名詞典、基於規則和基於感知器）
基於通用依賴項項目的預訓練模型
用於學習縮寫和含義的自訂模型
對訓練 FastText 和 StarSpace 嵌入的開箱即用支援（預訓練模型即將推出）
詞性標註
使用 FastText 或 cld3 進行語言偵測
基於MessagePack的高效二進位序列化
語言包的預建模型
詞形還原（使用從 spaCy 移植的查找表）

語言包

所有特定於語言的資料和模型均以 NuGet 套件的形式提供，您可以在此處找到所有套件。

新模型在最新版本的 Universal Dependency v2.7 上進行訓練。

我們還添加了使用流存儲和加載模型的選項：

 // Creates and stores the model
var isApattern = new PatternSpotter ( Language . English , 0 , tag : " is-a-pattern " , captureTag : " IsA " ) ;
isApattern . NewPattern (
    " Is+Noun " ,
    mp => mp . Add (
        new PatternUnit ( P . Single ( ) . WithToken ( " is " ) . WithPOS ( PartOfSpeech . VERB ) ) ,
        new PatternUnit ( P . Multiple ( ) . WithPOS ( PartOfSpeech . NOUN , PartOfSpeech . PROPN , PartOfSpeech . AUX , PartOfSpeech . DET , PartOfSpeech . ADJ ) )
) ) ;
using ( var f = File . OpenWrite ( " my-pattern-spotter.bin " ) )
{
    await isApattern . StoreAsync ( f ) ;
}

// Load the model back from disk
var isApattern2 = new PatternSpotter ( Language . English , 0 , tag : " is-a-pattern " , captureTag : " IsA " ) ;

using ( var f = File . OpenRead ( " my-pattern-spotter.bin " ) )
{
    await isApattern2 . LoadAsync ( f ) ;
}

入門

使用catalyst非常簡單，只需安裝其 NuGet 套件並將儲存設定為使用我們的線上儲存庫。這樣，模型將從磁碟延遲載入或從我們的線上儲存庫下載。另請查看一些範例項目，以獲取有關如何使用catalyst更多範例。

 catalyst . Models . English . Register ( ) ; //You need to pre-register each language (and install the respective NuGet Packages)

Storage . Current = new DiskStorage ( " catalyst -models " ) ;
var nlp = await Pipeline . ForAsync ( Language . English ) ;
var doc = new Document ( " The quick brown fox jumps over the lazy dog " , Language . English ) ;
nlp . ProcessSingle ( doc ) ;
Console . WriteLine ( doc . ToJson ( ) ) ;

您也可以利用 C# 惰性求值和本機多執行緒支援來並行處理大量文件：

 var docs = GetDocuments ( ) ;
var parsed = nlp . Process ( docs ) ;
DoSomething ( parsed ) ;

IEnumerable < IDocument > GetDocuments ( )
{
    //Generates a few documents, to demonstrate multi-threading & lazy evaluation
    for ( int i = 0 ; i < 1000 ; i ++ )
    {
        yield return new Document ( " The quick brown fox jumps over the lazy dog " , Language . English ) ;
    }
}

void DoSomething ( IEnumerable < IDocument > docs )
{
    foreach ( var doc in docs )
    {
        Console . WriteLine ( doc . ToJson ( ) ) ;
    }
}

訓練新的 FastText word2vec 嵌入模型非常簡單：

 var nlp = await Pipeline . ForAsync ( Language . English ) ;
var ft = new FastText ( Language . English , 0 , " wiki-word2vec " ) ;
ft . Data . Type = FastText . ModelType . CBow ;
ft . Data . Loss = FastText . LossType . NegativeSampling ;
ft . Train ( nlp . Process ( GetDocs ( ) ) ) ;
ft . StoreAsync ( ) ;