spacy sentence bert

spaCy에 대한 문장-BERT

이 패키지는 spaCy에서 문장 변환기(Sentence-BERT라고도 함)를 직접 래핑합니다. spaCy 모델에서 제공되는 벡터를 의미론적 유사성을 위해 특별히 조정된 벡터로 대체할 수 있습니다.

아래 모델은 STS 벤치마크에서 알 수 있듯이 문장 유사성을 분석하기 위해 제안됩니다. sentence-transformers 최대 시퀀스 길이 128로 구성된다는 점을 명심하세요. 따라서 긴 텍스트의 경우 다른 모델(예: Universal Sentence Encoder)과 함께 작업하는 것이 더 적합할 수 있습니다.

설치하다

호환성:

• 파이썬 3.7/3.8/3.9/3.10
• spaCy>=3.0.0,<4.0.0, 버전 3.5에서 마지막으로 테스트됨
• 문장 변환기: 버전 2.2.2에서 테스트됨

이 패키지를 설치하려면 다음 중 하나를 실행하면 됩니다.

• pip install spacy-sentence-bert
• pip install git+https://github.com/MartinoMensio/spacy-sentence-bert.git

pip를 사용하여 GitHub에서 독립형 spaCy 패키지를 설치할 수 있습니다. 독립 실행형 패키지를 설치하는 경우 파이프라인 단계를 추가할 필요 없이 spacy.load API를 사용하여 직접 언어 모델을 로드할 수 있습니다. 이 표는 Sentence Transformers 문서에 나열된 모델을 가져와 독립형 모델을 설치하는 지침과 함께 일부 통계를 보여줍니다. 독립 실행형 모델을 설치하지 않으려는 경우에도 파이프라인 단계를 추가하여 사용할 수 있습니다(아래 참조).

문장-BERT 이름	스파이시 모델 이름	치수	언어	STS 벤치마크	독립형 설치
paraphrase-distilroberta-base-v1	en_paraphrase_distilroberta_base_v1	768	ko	81.81	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_paraphrase_distilroberta_base_v1-0.1.2.tar.gz#en_paraphrase_distilroberta_base_v1-0.1.2
paraphrase-xlm-r-multilingual-v1	xx_paraphrase_xlm_r_multilingual_v1	768	50+	83.50	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_paraphrase_xlm_r_multilingual_v1-0.1.2.tar.gz#xx_paraphrase_xlm_r_multilingual_v1-0.1.2
stsb-roberta-large	en_stsb_roberta_large	1024	ko	86.39	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_large-0.1.2.tar.gz#en_stsb_roberta_large-0.1.2
stsb-roberta-base	en_stsb_roberta_base	768	ko	85.44	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_base-0.1.2.tar.gz#en_stsb_roberta_base-0.1.2
stsb-bert-large	en_stsb_bert_large	1024	ko	85.29	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_bert_large-0.1.2.tar.gz#en_stsb_bert_large-0.1.2
stsb-distilbert-base	en_stsb_distilbert_base	768	ko	85.16	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_distilbert_base-0.1.2.tar.gz#en_stsb_distilbert_base-0.1.2
stsb-bert-base	en_stsb_bert_base	768	ko	85.14	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_bert_base-0.1.2.tar.gz#en_stsb_bert_base-0.1.2
nli-bert-large	en_nli_bert_large	1024	ko	79.19	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large-0.1.2.tar.gz#en_nli_bert_large-0.1.2
nli-distilbert-base	en_nli_distilbert_base	768	ko	78.69	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_distilbert_base-0.1.2.tar.gz#en_nli_distilbert_base-0.1.2
nli-roberta-large	en_nli_roberta_large	1024	ko	78.69	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_roberta_large-0.1.2.tar.gz#en_nli_roberta_large-0.1.2
nli-bert-large-max-pooling	en_nli_bert_large_max_pooling	1024	ko	78.41	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large_max_pooling-0.1.2.tar.gz#en_nli_bert_large_max_pooling-0.1.2
nli-bert-large-cls-pooling	en_nli_bert_large_cls_pooling	1024	ko	78.29	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large_cls_pooling-0.1.2.tar.gz#en_nli_bert_large_cls_pooling-0.1.2
nli-distilbert-base-max-pooling	en_nli_distilbert_base_max_pooling	768	ko	77.61	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_distilbert_base_max_pooling-0.1.2.tar.gz#en_nli_distilbert_base_max_pooling-0.1.2
nli-roberta-base	en_nli_roberta_base	768	ko	77.49	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_roberta_base-0.1.2.tar.gz#en_nli_roberta_base-0.1.2
nli-bert-base-max-pooling	en_nli_bert_base_max_pooling	768	ko	77.21	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base_max_pooling-0.1.2.tar.gz#en_nli_bert_base_max_pooling-0.1.2
nli-bert-base	en_nli_bert_base	768	ko	77.12	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base-0.1.2.tar.gz#en_nli_bert_base-0.1.2
nli-bert-base-cls-pooling	en_nli_bert_base_cls_pooling	768	ko	76.30	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base_cls_pooling-0.1.2.tar.gz#en_nli_bert_base_cls_pooling-0.1.2
average_word_embeddings_glove.6B.300d	en_average_word_embeddings_glove.6B.300d	768	ko	61.77	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_glove.6B.300d-0.1.2.tar.gz#en_average_word_embeddings_glove.6B.300d-0.1.2
average_word_embeddings_komninos	en_average_word_embeddings_komninos	768	ko	61.56	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_komninos-0.1.2.tar.gz#en_average_word_embeddings_komninos-0.1.2
average_word_embeddings_levy_dependency	en_average_word_embeddings_levy_dependency	768	ko	59.22	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_levy_dependency-0.1.2.tar.gz#en_average_word_embeddings_levy_dependency-0.1.2
average_word_embeddings_glove.840B.300d	en_average_word_embeddings_glove.840B.300d	768	ko	52.54	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_glove.840B.300d-0.1.2.tar.gz#en_average_word_embeddings_glove.840B.300d-0.1.2
quora-distilbert-base	en_quora_distilbert_base	768	ko	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_quora_distilbert_base-0.1.2.tar.gz#en_quora_distilbert_base-0.1.2
quora-distilbert-multilingual	xx_quora_distilbert_multilingual	768	50+	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_quora_distilbert_multilingual-0.1.2.tar.gz#xx_quora_distilbert_multilingual-0.1.2
msmarco-distilroberta-base-v2	en_msmarco_distilroberta_base_v2	768	ko	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_distilroberta_base_v2-0.1.2.tar.gz#en_msmarco_distilroberta_base_v2-0.1.2
msmarco-roberta-base-v2	en_msmarco_roberta_base_v2	768	ko	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_roberta_base_v2-0.1.2.tar.gz#en_msmarco_roberta_base_v2-0.1.2
msmarco-distilbert-base-v2	en_msmarco_distilbert_base_v2	768	ko	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_distilbert_base_v2-0.1.2.tar.gz#en_msmarco_distilbert_base_v2-0.1.2
nq-distilbert-base-v1	en_nq_distilbert_base_v1	768	ko	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nq_distilbert_base_v1-0.1.2.tar.gz#en_nq_distilbert_base_v1-0.1.2
distiluse-base-multilingual-cased-v2	xx_distiluse_base_multilingual_cased_v2	512	50+	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_distiluse_base_multilingual_cased_v2-0.1.2.tar.gz#xx_distiluse_base_multilingual_cased_v2-0.1.2
stsb-xlm-r-multilingual	xx_stsb_xlm_r_multilingual	768	50+	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_stsb_xlm_r_multilingual-0.1.2.tar.gz#xx_stsb_xlm_r_multilingual-0.1.2
T-Systems-onsite/cross-en-de-roberta-sentence-transformer	xx_cross_en_de_roberta_sentence_transformer	768	엔,드	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_cross_en_de_roberta_sentence_transformer-0.1.2.tar.gz#xx_cross_en_de_roberta_sentence_transformer-0.1.2
LaBSE	xx_LaBSE	768	109	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_LaBSE-0.1.2.tar.gz#xx_LaBSE-0.1.2
allenai-specter	en_allenai_specter	768	ko	해당 없음	pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_allenai_specter-0.1.2.tar.gz#en_allenai_specter-0.1.2

모델이 이 목록에 없는 경우(예: xlm-r-base-en-ko-nli-ststb ) 이 라이브러리와 함께 사용할 수 있지만 독립 실행형 언어로는 사용할 수 없습니다. 적절하게 구성된 파이프라인 단계를 추가해야 합니다(아래 nlp.add_pipe API 참조).

용법

sentence-bert 모델을 로드하는 방법에는 여러 가지가 있습니다.

• spacy.load API: 위 표의 모델 중 하나를 설치해야 합니다.
• spacy_sentence_bert.load_model : 독립 실행형 패키지를 설치하지 않고도 위 표의 모델 중 하나를 로드할 수 있습니다.
• nlp.add_pipe API: nlp 객체 위에 모든 sentence-bert 모델을 로드할 수 있습니다.

spacy.load API

GitHub에서 설치된 독립형 모델(예: 위의 표에서 pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_large-0.1.2.tar.gz#en_stsb_roberta_large-0.1.2 ) spaCy API를 사용하여 모델을 직접 로드할 수 있습니다.

 import spacy
nlp = spacy . load ( 'en_stsb_roberta_large' )

spacy_sentence_bert.load_model API

다음 방법을 사용하면 독립형 모델을 설치하지 않고도 동일한 결과를 얻을 수 있습니다.

 import spacy_sentence_bert
nlp = spacy_sentence_bert . load_model ( 'en_stsb_roberta_large' )

nlp.add_pipe API

기존 Language 객체에 문장 임베딩 중 하나를 사용하려면 nlp.add_pipe 메소드를 사용할 수 있습니다. 이는 위의 표에 나열되지 않은 언어 모델을 사용하려는 경우에도 작동합니다. 문장 변환기가 이를 지원하는지 확인하세요.

 import spacy
nlp = spacy . blank ( 'en' )
nlp . add_pipe ( 'sentence_bert' , config = { 'model_name' : 'allenai-specter' })
nlp . pipe_names

모델을 처음 사용할 때 환경 변수에서 TORCH_HOME 으로 정의된 폴더에 문장-BERT를 다운로드합니다(기본값 ~/.cache/torch ).

모델을 로드한 후에는 spaCy의 vector 속성과 similarity 방법을 통해 모델을 사용합니다.

 # get two documents
doc_1 = nlp ( 'Hi there, how are you?' )
doc_2 = nlp ( 'Hello there, how are you doing today?' )
# get the vector of the Doc, Span or Token
print ( doc_1 . vector . shape )
print ( doc_1 [ 3 ]. vector . shape )
print ( doc_1 [ 2 : 4 ]. vector . shape )
# or use the similarity method that is based on the vectors, on Doc, Span or Token
print ( doc_1 . similarity ( doc_2 [ 0 : 7 ]))

유틸리티

빌드하고 업로드하려면

VERSION=0.1.2
# build the standalone models (17)
./build_models.sh
# build the archive at dist/spacy_sentence_bert-${VERSION}.tar.gz
python setup.py sdist
# upload to pypi
twine upload dist/spacy_sentence_bert- ${VERSION} .tar.gz