spacy sentence bert

Satz-BERT für spaCy

Dieses Paket verpackt Satztransformatoren (auch als Satz-BERT bekannt) direkt in spaCy. Sie können die in jedem spaCy-Modell bereitgestellten Vektoren durch Vektoren ersetzen, die speziell auf semantische Ähnlichkeit abgestimmt wurden.

Die folgenden Modelle werden zur Analyse der Satzähnlichkeit empfohlen, wie der STS-Benchmark zeigt. Beachten Sie, dass sentence-transformers mit einer maximalen Sequenzlänge von 128 konfiguriert sind. Daher kann es für längere Texte geeigneter sein, mit anderen Modellen (z. B. Universal Sentence Encoder) zu arbeiten.

Installieren

Kompatibilität:

• Python 3.7/3.8/3.9/3.10
• spaCy>=3.0.0,<4.0.0, zuletzt getestet auf Version 3.5
• Satztransformatoren: getestet auf Version 2.2.2

Um dieses Paket zu installieren, können Sie einen der folgenden Schritte ausführen:

• pip install spacy-sentence-bert
• pip install git+https://github.com/MartinoMensio/spacy-sentence-bert.git

Sie können eigenständige spaCy-Pakete von GitHub mit pip installieren. Wenn Sie eigenständige Pakete installieren, können Sie ein Sprachmodell direkt mithilfe der spacy.load API laden, ohne dass eine Pipeline-Stufe hinzugefügt werden muss. Diese Tabelle enthält die in der Sentence Transformers-Dokumentation aufgeführten Modelle und zeigt einige Statistiken sowie Anweisungen zur Installation der eigenständigen Modelle. Wenn Sie die eigenständigen Modelle nicht installieren möchten, können Sie sie dennoch verwenden, indem Sie eine Pipeline-Stufe hinzufügen (siehe unten).

Satz-BERT-Name	spaciger Modellname	Abmessungen	Sprache	STS-Benchmark	Standalone-Installation
paraphrase-distilroberta-base-v1	en_paraphrase_distilroberta_base_v1	768	de	81,81	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_paraphrase_distilroberta_base_v1-0.1.2.tar.gz#en_paraphrase_distilroberta_base_v1-0.1.2
paraphrase-xlm-r-multilingual-v1	xx_paraphrase_xlm_r_multilingual_v1	768	50+	83,50	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_paraphrase_xlm_r_multilingual_v1-0.1.2.tar.gz#xx_paraphrase_xlm_r_multilingual_v1-0.1.2
stsb-roberta-large	en_stsb_roberta_large	1024	de	86,39	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_large-0.1.2.tar.gz#en_stsb_roberta_large-0.1.2
stsb-roberta-base	en_stsb_roberta_base	768	de	85,44	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_base-0.1.2.tar.gz#en_stsb_roberta_base-0.1.2
stsb-bert-large	en_stsb_bert_large	1024	de	85,29	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_bert_large-0.1.2.tar.gz#en_stsb_bert_large-0.1.2
stsb-distilbert-base	en_stsb_distilbert_base	768	de	85,16	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_distilbert_base-0.1.2.tar.gz#en_stsb_distilbert_base-0.1.2
stsb-bert-base	en_stsb_bert_base	768	de	85,14	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_bert_base-0.1.2.tar.gz#en_stsb_bert_base-0.1.2
nli-bert-large	en_nli_bert_large	1024	de	79,19	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large-0.1.2.tar.gz#en_nli_bert_large-0.1.2
nli-distilbert-base	en_nli_distilbert_base	768	de	78,69	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_distilbert_base-0.1.2.tar.gz#en_nli_distilbert_base-0.1.2
nli-roberta-large	en_nli_roberta_large	1024	de	78,69	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_roberta_large-0.1.2.tar.gz#en_nli_roberta_large-0.1.2
nli-bert-large-max-pooling	en_nli_bert_large_max_pooling	1024	de	78,41	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large_max_pooling-0.1.2.tar.gz#en_nli_bert_large_max_pooling-0.1.2
nli-bert-large-cls-pooling	en_nli_bert_large_cls_pooling	1024	de	78,29	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large_cls_pooling-0.1.2.tar.gz#en_nli_bert_large_cls_pooling-0.1.2
nli-distilbert-base-max-pooling	en_nli_distilbert_base_max_pooling	768	de	77,61	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_distilbert_base_max_pooling-0.1.2.tar.gz#en_nli_distilbert_base_max_pooling-0.1.2
nli-roberta-base	en_nli_roberta_base	768	de	77,49	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_roberta_base-0.1.2.tar.gz#en_nli_roberta_base-0.1.2
nli-bert-base-max-pooling	en_nli_bert_base_max_pooling	768	de	77.21	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base_max_pooling-0.1.2.tar.gz#en_nli_bert_base_max_pooling-0.1.2
nli-bert-base	en_nli_bert_base	768	de	77.12	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base-0.1.2.tar.gz#en_nli_bert_base-0.1.2
nli-bert-base-cls-pooling	en_nli_bert_base_cls_pooling	768	de	76.30	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base_cls_pooling-0.1.2.tar.gz#en_nli_bert_base_cls_pooling-0.1.2
average_word_embeddings_glove.6B.300d	en_average_word_embeddings_glove.6B.300d	768	de	61,77	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_glove.6B.300d-0.1.2.tar.gz#en_average_word_embeddings_glove.6B.300d-0.1.2
average_word_embeddings_komninos	en_average_word_embeddings_komninos	768	de	61,56	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_komninos-0.1.2.tar.gz#en_average_word_embeddings_komninos-0.1.2
average_word_embeddings_levy_dependency	en_average_word_embeddings_levy_dependency	768	de	59.22	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_levy_dependency-0.1.2.tar.gz#en_average_word_embeddings_levy_dependency-0.1.2
average_word_embeddings_glove.840B.300d	en_average_word_embeddings_glove.840B.300d	768	de	52,54	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_glove.840B.300d-0.1.2.tar.gz#en_average_word_embeddings_glove.840B.300d-0.1.2
quora-distilbert-base	en_quora_distilbert_base	768	de	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_quora_distilbert_base-0.1.2.tar.gz#en_quora_distilbert_base-0.1.2
quora-distilbert-multilingual	xx_quora_distilbert_multilingual	768	50+	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_quora_distilbert_multilingual-0.1.2.tar.gz#xx_quora_distilbert_multilingual-0.1.2
msmarco-distilroberta-base-v2	en_msmarco_distilroberta_base_v2	768	de	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_distilroberta_base_v2-0.1.2.tar.gz#en_msmarco_distilroberta_base_v2-0.1.2
msmarco-roberta-base-v2	en_msmarco_roberta_base_v2	768	de	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_roberta_base_v2-0.1.2.tar.gz#en_msmarco_roberta_base_v2-0.1.2
msmarco-distilbert-base-v2	en_msmarco_distilbert_base_v2	768	de	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_distilbert_base_v2-0.1.2.tar.gz#en_msmarco_distilbert_base_v2-0.1.2
nq-distilbert-base-v1	en_nq_distilbert_base_v1	768	de	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nq_distilbert_base_v1-0.1.2.tar.gz#en_nq_distilbert_base_v1-0.1.2
distiluse-base-multilingual-cased-v2	xx_distiluse_base_multilingual_cased_v2	512	50+	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_distiluse_base_multilingual_cased_v2-0.1.2.tar.gz#xx_distiluse_base_multilingual_cased_v2-0.1.2
stsb-xlm-r-multilingual	xx_stsb_xlm_r_multilingual	768	50+	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_stsb_xlm_r_multilingual-0.1.2.tar.gz#xx_stsb_xlm_r_multilingual-0.1.2
T-Systems-onsite/cross-en-de-roberta-sentence-transformer	xx_cross_en_de_roberta_sentence_transformer	768	en,de	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_cross_en_de_roberta_sentence_transformer-0.1.2.tar.gz#xx_cross_en_de_roberta_sentence_transformer-0.1.2
LaBSE	xx_LaBSE	768	109	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_LaBSE-0.1.2.tar.gz#xx_LaBSE-0.1.2
allenai-specter	en_allenai_specter	768	de	N / A	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_allenai_specter-0.1.2.tar.gz#en_allenai_specter-0.1.2

Wenn Ihr Modell nicht in dieser Liste enthalten ist (z. B. xlm-r-base-en-ko-nli-ststb ), können Sie es dennoch mit dieser Bibliothek verwenden, jedoch nicht als eigenständige Sprache. Sie müssen eine ordnungsgemäß konfigurierte Pipeline-Stufe hinzufügen (siehe unten die API nlp.add_pipe ).

Verwendung

Es gibt verschiedene Möglichkeiten, die Modelle von sentence-bert zu laden.

• spacy.load API: Sie müssen eines der Modelle aus der obigen Tabelle installiert haben
• spacy_sentence_bert.load_model : Sie können eines der Modelle aus der obigen Tabelle laden, ohne die Standalone-Pakete installiert zu haben
• nlp.add_pipe API: Sie können jedes der sentence-bert -Modelle über Ihr nlp Objekt laden

spacy.load -API

Von GitHub installiertes eigenständiges Modell (z. B. aus der Tabelle oben, pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_large-0.1.2.tar.gz#en_stsb_roberta_large-0.1.2 ), können Sie das Modell direkt mit der spaCy-API laden:

 import spacy
nlp = spacy . load ( 'en_stsb_roberta_large' )

spacy_sentence_bert.load_model API

Mit dieser Methode können Sie das gleiche Ergebnis erzielen, ohne das Standalone-Modell installieren zu müssen:

 import spacy_sentence_bert
nlp = spacy_sentence_bert . load_model ( 'en_stsb_roberta_large' )

nlp.add_pipe -API

Wenn Sie eine der Satzeinbettungen über ein vorhandenes Sprachobjekt verwenden möchten, können Sie die Methode nlp.add_pipe verwenden. Dies funktioniert auch, wenn Sie ein Sprachmodell verwenden möchten, das nicht in der obigen Tabelle aufgeführt ist. Stellen Sie einfach sicher, dass Satztransformatoren dies unterstützen.

 import spacy
nlp = spacy . blank ( 'en' )
nlp . add_pipe ( 'sentence_bert' , config = { 'model_name' : 'allenai-specter' })
nlp . pipe_names

Bei der ersten Verwendung laden die Modelle den Satz-BERT in den Ordner herunter, der mit TORCH_HOME in den Umgebungsvariablen definiert ist (Standard ~/.cache/torch ).

Sobald Sie das Modell geladen haben, verwenden Sie es über die vector und die similarity von spaCy:

 # get two documents
doc_1 = nlp ( 'Hi there, how are you?' )
doc_2 = nlp ( 'Hello there, how are you doing today?' )
# get the vector of the Doc, Span or Token
print ( doc_1 . vector . shape )
print ( doc_1 [ 3 ]. vector . shape )
print ( doc_1 [ 2 : 4 ]. vector . shape )
# or use the similarity method that is based on the vectors, on Doc, Span or Token
print ( doc_1 . similarity ( doc_2 [ 0 : 7 ]))

Dienstprogramme

Zum Erstellen und Hochladen

VERSION=0.1.2
# build the standalone models (17)
./build_models.sh
# build the archive at dist/spacy_sentence_bert-${VERSION}.tar.gz
python setup.py sdist
# upload to pypi
twine upload dist/spacy_sentence_bert- ${VERSION} .tar.gz