spacy transformers

SPACY轉換器：在Spacy中使用預貼的變壓器，例如BERT，XLNET和GPT-2

該軟件包提供了通過擁抱面部transformers在Spacy中使用變壓器模型來使用變壓器模型的組件和體系結構。結果是可以方便地訪問最先進的變壓器體系結構，例如Bert，GPT-2，XLNET等。

此版本需要Spacy V3。有關此庫的先前版本，請參見v0.6.x分支。

特徵

• 使用驗證的變壓器模型（例如Bert ， Roberta和XLNet）為您的Spacy管道提供動力。
• 簡單的多任務學習：從多個管道組件中回到一個變壓器模型。
• 使用Spacy V3功能強大且可擴展的配置系統進行訓練。
• 變壓器輸出與Spacy的令牌化的自動對齊。
• 輕鬆自定義在Doc對像中保存的變壓器數據。
• 輕鬆自定義處理多長時間的文檔。
• 開箱即用的序列化和模型包裝。

安裝

從PIP安裝軟件包將自動安裝所有依賴項，包括Pytorch和Spacy。在安裝模型之前，請確保安裝此軟件包。另請注意，此軟件包需要Python 3.6+ ， Pytorch v1.5+和Spacy v3.0+ 。

pip install ' spacy[transformers] '

對於GPU安裝，請使用nvcc --version找到您的CUDA版本，然後在括號中添加版本，例如cuda9.2或spacy[transformers,cuda92] ，或spacy[transformers,cuda100] for cuda10.0。

如果您在安裝Pytorch時遇到困難，請按照官方網站上的說明以獲取特定操作系統和要求。

文件

配x重要說明：該軟件包已被廣泛重構以利用Spacy v3.0。為Spacy V2.X構建的先前版本的工作方式差異很大。請參閱此讀數的先前標記版本，以獲取有關先前版本的文檔。

• 嵌入，變壓器和轉移學習：如何在Spacy中使用變壓器
• 培訓管道和模型：培訓和更新您自己的數據的組件並集成自定義模型
• 層和模型體系結構：具有自定義神經網絡的功率啟動組件
• ？ Transformer ：管道組件API參考
• ？變壓器體系結構：體系結構和註冊功能

應用預審慎的文本和代幣分類模型

請注意， spacy-transformers的transformer組件不支持特定於任務的頭部，例如令牌或文本分類。特定於任務的變壓器模型可以用作訓練啟用螺旋組件（例如ner或textcat的功能來源，但是transformer組件無法訪問特定於任務的訓練或推理的任務頭部。

另外，如果您只想使用現有的擁抱面部文本或令牌分類模型的預測，則可以使用spacy-huggingface-pipelines中的包裝器將特定於任務的變壓器模型納入您的Spacy管道中。

錯誤報告和其他問題

請使用Spacy的問題跟踪器報告一個錯誤，或在討論板上打開新線程以獲取任何其他問題。