spacy sentence bertダウンロード - spacy sentence bertソースコードのダウンロード

spacy sentence bert

その他のソースコード

v0.1.2

ダウンロード

文-SPACYのBERT

このパッケージは、stent-transformers (sentence-BERT とも呼ばれます) を spaCy に直接ラップします。 spaCy モデルで提供されているベクトルを、意味的な類似性を目的として特別に調整されたベクトルに置き換えることができます。

STS ベンチマークが示すように、文の類似性を分析するには以下のモデルが推奨されます。 sentence-transformers最大シーケンス長 128 で構成されていることに注意してください。したがって、長いテキストの場合は、他のモデル (ユニバーサルセンテンスエンコーダーなど) を使用する方が適している可能性があります。

インストール

互換性:

Python 3.7/3.8/3.9/3.10
spaCy>=3.0.0、<4.0.0、最終テストはバージョン 3.5
文変換: バージョン 2.2.2 でテスト済み

このパッケージをインストールするには、次のいずれかを実行できます。

pip install spacy-sentence-bert
pip install git+https://github.com/MartinoMensio/spacy-sentence-bert.git

pip を使用して、GitHub からスタンドアロンの spaCy パッケージをインストールできます。スタンドアロンパッケージをインストールする場合、パイプラインステージを追加することなく、 spacy.load API を使用して言語モデルを直接読み込むことができます。この表は、Sentence Transformers のドキュメントにリストされているモデルを取り上げ、いくつかの統計情報とスタンドアロンモデルのインストール手順を示しています。スタンドアロンモデルをインストールしたくない場合でも、パイプラインステージを追加することでスタンドアロンモデルを使用できます (下記を参照)。

文-BERT名	スペイシーのモデル名	寸法	言語	STS ベンチマーク	スタンドアロンインストール
`paraphrase-distilroberta-base-v1`	`en_paraphrase_distilroberta_base_v1`	768	jp	81.81	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_paraphrase_distilroberta_base_v1-0.1.2.tar.gz#en_paraphrase_distilroberta_base_v1-0.1.2`
`paraphrase-xlm-r-multilingual-v1`	`xx_paraphrase_xlm_r_multilingual_v1`	768	50+	83.50	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_paraphrase_xlm_r_multilingual_v1-0.1.2.tar.gz#xx_paraphrase_xlm_r_multilingual_v1-0.1.2`
`stsb-roberta-large`	`en_stsb_roberta_large`	1024	jp	86.39	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_large-0.1.2.tar.gz#en_stsb_roberta_large-0.1.2`
`stsb-roberta-base`	`en_stsb_roberta_base`	768	jp	85.44	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_base-0.1.2.tar.gz#en_stsb_roberta_base-0.1.2`
`stsb-bert-large`	`en_stsb_bert_large`	1024	jp	85.29	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_bert_large-0.1.2.tar.gz#en_stsb_bert_large-0.1.2`
`stsb-distilbert-base`	`en_stsb_distilbert_base`	768	jp	85.16	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_distilbert_base-0.1.2.tar.gz#en_stsb_distilbert_base-0.1.2`
`stsb-bert-base`	`en_stsb_bert_base`	768	jp	85.14	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_bert_base-0.1.2.tar.gz#en_stsb_bert_base-0.1.2`
`nli-bert-large`	`en_nli_bert_large`	1024	jp	79.19	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large-0.1.2.tar.gz#en_nli_bert_large-0.1.2`
`nli-distilbert-base`	`en_nli_distilbert_base`	768	jp	78.69	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_distilbert_base-0.1.2.tar.gz#en_nli_distilbert_base-0.1.2`
`nli-roberta-large`	`en_nli_roberta_large`	1024	jp	78.69	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_roberta_large-0.1.2.tar.gz#en_nli_roberta_large-0.1.2`
`nli-bert-large-max-pooling`	`en_nli_bert_large_max_pooling`	1024	jp	78.41	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large_max_pooling-0.1.2.tar.gz#en_nli_bert_large_max_pooling-0.1.2`
`nli-bert-large-cls-pooling`	`en_nli_bert_large_cls_pooling`	1024	jp	78.29	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large_cls_pooling-0.1.2.tar.gz#en_nli_bert_large_cls_pooling-0.1.2`
`nli-distilbert-base-max-pooling`	`en_nli_distilbert_base_max_pooling`	768	jp	77.61	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_distilbert_base_max_pooling-0.1.2.tar.gz#en_nli_distilbert_base_max_pooling-0.1.2`
`nli-roberta-base`	`en_nli_roberta_base`	768	jp	77.49	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_roberta_base-0.1.2.tar.gz#en_nli_roberta_base-0.1.2`
`nli-bert-base-max-pooling`	`en_nli_bert_base_max_pooling`	768	jp	77.21	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base_max_pooling-0.1.2.tar.gz#en_nli_bert_base_max_pooling-0.1.2`
`nli-bert-base`	`en_nli_bert_base`	768	jp	77.12	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base-0.1.2.tar.gz#en_nli_bert_base-0.1.2`
`nli-bert-base-cls-pooling`	`en_nli_bert_base_cls_pooling`	768	jp	76.30	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base_cls_pooling-0.1.2.tar.gz#en_nli_bert_base_cls_pooling-0.1.2`
`average_word_embeddings_glove.6B.300d`	`en_average_word_embeddings_glove.6B.300d`	768	jp	61.77	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_glove.6B.300d-0.1.2.tar.gz#en_average_word_embeddings_glove.6B.300d-0.1.2`
`average_word_embeddings_komninos`	`en_average_word_embeddings_komninos`	768	jp	61.56	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_komninos-0.1.2.tar.gz#en_average_word_embeddings_komninos-0.1.2`
`average_word_embeddings_levy_dependency`	`en_average_word_embeddings_levy_dependency`	768	jp	59.22	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_levy_dependency-0.1.2.tar.gz#en_average_word_embeddings_levy_dependency-0.1.2`
`average_word_embeddings_glove.840B.300d`	`en_average_word_embeddings_glove.840B.300d`	768	jp	52.54	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_glove.840B.300d-0.1.2.tar.gz#en_average_word_embeddings_glove.840B.300d-0.1.2`
`quora-distilbert-base`	`en_quora_distilbert_base`	768	jp	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_quora_distilbert_base-0.1.2.tar.gz#en_quora_distilbert_base-0.1.2`
`quora-distilbert-multilingual`	`xx_quora_distilbert_multilingual`	768	50+	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_quora_distilbert_multilingual-0.1.2.tar.gz#xx_quora_distilbert_multilingual-0.1.2`
`msmarco-distilroberta-base-v2`	`en_msmarco_distilroberta_base_v2`	768	jp	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_distilroberta_base_v2-0.1.2.tar.gz#en_msmarco_distilroberta_base_v2-0.1.2`
`msmarco-roberta-base-v2`	`en_msmarco_roberta_base_v2`	768	jp	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_roberta_base_v2-0.1.2.tar.gz#en_msmarco_roberta_base_v2-0.1.2`
`msmarco-distilbert-base-v2`	`en_msmarco_distilbert_base_v2`	768	jp	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_distilbert_base_v2-0.1.2.tar.gz#en_msmarco_distilbert_base_v2-0.1.2`
`nq-distilbert-base-v1`	`en_nq_distilbert_base_v1`	768	jp	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nq_distilbert_base_v1-0.1.2.tar.gz#en_nq_distilbert_base_v1-0.1.2`
`distiluse-base-multilingual-cased-v2`	`xx_distiluse_base_multilingual_cased_v2`	512	50+	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_distiluse_base_multilingual_cased_v2-0.1.2.tar.gz#xx_distiluse_base_multilingual_cased_v2-0.1.2`
`stsb-xlm-r-multilingual`	`xx_stsb_xlm_r_multilingual`	768	50+	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_stsb_xlm_r_multilingual-0.1.2.tar.gz#xx_stsb_xlm_r_multilingual-0.1.2`
`T-Systems-onsite/cross-en-de-roberta-sentence-transformer`	`xx_cross_en_de_roberta_sentence_transformer`	768	えん、で	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_cross_en_de_roberta_sentence_transformer-0.1.2.tar.gz#xx_cross_en_de_roberta_sentence_transformer-0.1.2`
`LaBSE`	`xx_LaBSE`	768	109	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_LaBSE-0.1.2.tar.gz#xx_LaBSE-0.1.2`
`allenai-specter`	`en_allenai_specter`	768	jp	該当なし	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_allenai_specter-0.1.2.tar.gz#en_allenai_specter-0.1.2`

モデルがこのリストにない場合 ( xlm-r-base-en-ko-nli-ststbなど)、このライブラリでは引き続き使用できますが、スタンドアロン言語としては使用できません。適切に構成されたパイプラインステージを追加する必要があります (以下のnlp.add_pipe API を参照)。

使用法

sentence-bertのモデルをロードするにはさまざまな方法があります。

spacy.load API: 上の表のモデルのいずれかをインストールする必要があります
spacy_sentence_bert.load_model : スタンドアロンパッケージをインストールしなくても、上の表からモデルの 1 つをロードできます。
nlp.add_pipe API: nlpオブジェクトの上に任意のsentence-bertモデルをロードできます。

`spacy.load` API

GitHub からインストールされたスタンドアロンモデル (例: 上記の表から、 pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_large-0.1.2.tar.gz#en_stsb_roberta_large-0.1.2 )、spaCy API を使用してモデルを直接ロードできます。

 import spacy
nlp = spacy . load ( 'en_stsb_roberta_large' )

`spacy_sentence_bert.load_model` API

次の方法を使用すると、スタンドアロンモデルをインストールしなくても同じ結果を得ることができます。

 import spacy_sentence_bert
nlp = spacy_sentence_bert . load_model ( 'en_stsb_roberta_large' )

`nlp.add_pipe` API

既存の Language オブジェクトに対して文の埋め込みの 1 つを使用したい場合は、 nlp.add_pipeメソッドを使用できます。これは、上の表に記載されていない言語モデルを使用する場合にも機能します。センテンストランスフォーマーがそれをサポートしていることを確認してください。

 import spacy
nlp = spacy . blank ( 'en' )
nlp . add_pipe ( 'sentence_bert' , config = { 'model_name' : 'allenai-specter' })
nlp . pipe_names

モデルは、最初に使用するときに、環境変数のTORCH_HOMEで定義されたフォルダー (デフォルト~/.cache/torch ) に文章 BERT をダウンロードします。

モデルをロードしたら、spaCy のvectorプロパティとsimilarityメソッドを通じてそれを使用します。

 # get two documents
doc_1 = nlp ( 'Hi there, how are you?' )
doc_2 = nlp ( 'Hello there, how are you doing today?' )
# get the vector of the Doc, Span or Token
print ( doc_1 . vector . shape )
print ( doc_1 [ 3 ]. vector . shape )
print ( doc_1 [ 2 : 4 ]. vector . shape )
# or use the similarity method that is based on the vectors, on Doc, Span or Token
print ( doc_1 . similarity ( doc_2 [ 0 : 7 ]))

ユーティリティ

ビルドしてアップロードするには

VERSION=0.1.2
# build the standalone models (17)
./build_models.sh
# build the archive at dist/spacy_sentence_bert-${VERSION}.tar.gz
python setup.py sdist
# upload to pypi
twine upload dist/spacy_sentence_bert- ${VERSION} .tar.gz

拡大する

追加情報