spacy sentence bert تحميل - spacy sentence bert تنزيل كود المصدر

spacy sentence bert

شفرة المصدر الأخرى

v0.1.2

تنزيل

جملة-BERT لـ spaCy

تقوم هذه الحزمة بتغليف محولات الجملة (المعروفة أيضًا باسم الجملة-BERT) مباشرة في spaCy. يمكنك استبدال المتجهات المتوفرة في أي نموذج spaCy بالمتجهات التي تم ضبطها خصيصًا للتشابه الدلالي.

تم اقتراح النماذج أدناه لتحليل تشابه الجملة، كما يشير معيار STS. ضع في اعتبارك أن sentence-transformers تم تكوينها بأقصى طول تسلسل يبلغ 128. لذلك بالنسبة للنصوص الأطول، قد يكون من المناسب أكثر العمل مع نماذج أخرى (مثل Universal Sentence Encoder).

ثَبَّتَ

التوافق:

بيثون 3.7/3.8/3.9/3.10
spaCy>=3.0.0,<4.0.0، تم اختباره آخر مرة في الإصدار 3.5
محولات الجملة: تم اختبارها على الإصدار 2.2.2

لتثبيت هذه الحزمة، يمكنك تشغيل أحد الإجراءات التالية:

pip install spacy-sentence-bert
pip install git+https://github.com/MartinoMensio/spacy-sentence-bert.git

يمكنك تثبيت حزم spaCy المستقلة من GitHub باستخدام النقطة. إذا قمت بتثبيت حزم مستقلة، فستتمكن من تحميل نموذج لغة مباشرةً باستخدام واجهة برمجة التطبيقات spacy.load ، دون الحاجة إلى إضافة مرحلة مسار. يأخذ هذا الجدول النماذج المدرجة في وثائق Sentence Transformers ويعرض بعض الإحصائيات بالإضافة إلى تعليمات تثبيت النماذج المستقلة. إذا كنت لا ترغب في تثبيت النماذج المستقلة، فلا يزال بإمكانك استخدامها عن طريق إضافة مرحلة المسار (انظر أدناه).

اسم الجملة بيرت	اسم الطراز الفضائي	أبعاد	لغة	معيار STS	تثبيت مستقل
`paraphrase-distilroberta-base-v1`	`en_paraphrase_distilroberta_base_v1`	768	أون	81.81	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_paraphrase_distilroberta_base_v1-0.1.2.tar.gz#en_paraphrase_distilroberta_base_v1-0.1.2`
`paraphrase-xlm-r-multilingual-v1`	`xx_paraphrase_xlm_r_multilingual_v1`	768	50+	83.50	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_paraphrase_xlm_r_multilingual_v1-0.1.2.tar.gz#xx_paraphrase_xlm_r_multilingual_v1-0.1.2`
`stsb-roberta-large`	`en_stsb_roberta_large`	1024	أون	86.39	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_large-0.1.2.tar.gz#en_stsb_roberta_large-0.1.2`
`stsb-roberta-base`	`en_stsb_roberta_base`	768	أون	85.44	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_base-0.1.2.tar.gz#en_stsb_roberta_base-0.1.2`
`stsb-bert-large`	`en_stsb_bert_large`	1024	أون	85.29	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_bert_large-0.1.2.tar.gz#en_stsb_bert_large-0.1.2`
`stsb-distilbert-base`	`en_stsb_distilbert_base`	768	أون	85.16	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_distilbert_base-0.1.2.tar.gz#en_stsb_distilbert_base-0.1.2`
`stsb-bert-base`	`en_stsb_bert_base`	768	أون	85.14	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_bert_base-0.1.2.tar.gz#en_stsb_bert_base-0.1.2`
`nli-bert-large`	`en_nli_bert_large`	1024	أون	79.19	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large-0.1.2.tar.gz#en_nli_bert_large-0.1.2`
`nli-distilbert-base`	`en_nli_distilbert_base`	768	أون	78.69	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_distilbert_base-0.1.2.tar.gz#en_nli_distilbert_base-0.1.2`
`nli-roberta-large`	`en_nli_roberta_large`	1024	أون	78.69	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_roberta_large-0.1.2.tar.gz#en_nli_roberta_large-0.1.2`
`nli-bert-large-max-pooling`	`en_nli_bert_large_max_pooling`	1024	أون	78.41	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large_max_pooling-0.1.2.tar.gz#en_nli_bert_large_max_pooling-0.1.2`
`nli-bert-large-cls-pooling`	`en_nli_bert_large_cls_pooling`	1024	أون	78.29	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_large_cls_pooling-0.1.2.tar.gz#en_nli_bert_large_cls_pooling-0.1.2`
`nli-distilbert-base-max-pooling`	`en_nli_distilbert_base_max_pooling`	768	أون	77.61	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_distilbert_base_max_pooling-0.1.2.tar.gz#en_nli_distilbert_base_max_pooling-0.1.2`
`nli-roberta-base`	`en_nli_roberta_base`	768	أون	77.49	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_roberta_base-0.1.2.tar.gz#en_nli_roberta_base-0.1.2`
`nli-bert-base-max-pooling`	`en_nli_bert_base_max_pooling`	768	أون	77.21	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base_max_pooling-0.1.2.tar.gz#en_nli_bert_base_max_pooling-0.1.2`
`nli-bert-base`	`en_nli_bert_base`	768	أون	77.12	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base-0.1.2.tar.gz#en_nli_bert_base-0.1.2`
`nli-bert-base-cls-pooling`	`en_nli_bert_base_cls_pooling`	768	أون	76.30	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nli_bert_base_cls_pooling-0.1.2.tar.gz#en_nli_bert_base_cls_pooling-0.1.2`
`average_word_embeddings_glove.6B.300d`	`en_average_word_embeddings_glove.6B.300d`	768	أون	61.77	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_glove.6B.300d-0.1.2.tar.gz#en_average_word_embeddings_glove.6B.300d-0.1.2`
`average_word_embeddings_komninos`	`en_average_word_embeddings_komninos`	768	أون	61.56	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_komninos-0.1.2.tar.gz#en_average_word_embeddings_komninos-0.1.2`
`average_word_embeddings_levy_dependency`	`en_average_word_embeddings_levy_dependency`	768	أون	59.22	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_levy_dependency-0.1.2.tar.gz#en_average_word_embeddings_levy_dependency-0.1.2`
`average_word_embeddings_glove.840B.300d`	`en_average_word_embeddings_glove.840B.300d`	768	أون	52.54	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_average_word_embeddings_glove.840B.300d-0.1.2.tar.gz#en_average_word_embeddings_glove.840B.300d-0.1.2`
`quora-distilbert-base`	`en_quora_distilbert_base`	768	أون	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_quora_distilbert_base-0.1.2.tar.gz#en_quora_distilbert_base-0.1.2`
`quora-distilbert-multilingual`	`xx_quora_distilbert_multilingual`	768	50+	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_quora_distilbert_multilingual-0.1.2.tar.gz#xx_quora_distilbert_multilingual-0.1.2`
`msmarco-distilroberta-base-v2`	`en_msmarco_distilroberta_base_v2`	768	أون	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_distilroberta_base_v2-0.1.2.tar.gz#en_msmarco_distilroberta_base_v2-0.1.2`
`msmarco-roberta-base-v2`	`en_msmarco_roberta_base_v2`	768	أون	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_roberta_base_v2-0.1.2.tar.gz#en_msmarco_roberta_base_v2-0.1.2`
`msmarco-distilbert-base-v2`	`en_msmarco_distilbert_base_v2`	768	أون	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_msmarco_distilbert_base_v2-0.1.2.tar.gz#en_msmarco_distilbert_base_v2-0.1.2`
`nq-distilbert-base-v1`	`en_nq_distilbert_base_v1`	768	أون	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_nq_distilbert_base_v1-0.1.2.tar.gz#en_nq_distilbert_base_v1-0.1.2`
`distiluse-base-multilingual-cased-v2`	`xx_distiluse_base_multilingual_cased_v2`	512	50+	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_distiluse_base_multilingual_cased_v2-0.1.2.tar.gz#xx_distiluse_base_multilingual_cased_v2-0.1.2`
`stsb-xlm-r-multilingual`	`xx_stsb_xlm_r_multilingual`	768	50+	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_stsb_xlm_r_multilingual-0.1.2.tar.gz#xx_stsb_xlm_r_multilingual-0.1.2`
`T-Systems-onsite/cross-en-de-roberta-sentence-transformer`	`xx_cross_en_de_roberta_sentence_transformer`	768	أون، دي	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_cross_en_de_roberta_sentence_transformer-0.1.2.tar.gz#xx_cross_en_de_roberta_sentence_transformer-0.1.2`
`LaBSE`	`xx_LaBSE`	768	109	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/xx_LaBSE-0.1.2.tar.gz#xx_LaBSE-0.1.2`
`allenai-specter`	`en_allenai_specter`	768	أون	لا يوجد	`pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_allenai_specter-0.1.2.tar.gz#en_allenai_specter-0.1.2`

إذا لم يكن النموذج الخاص بك موجودًا في هذه القائمة (على سبيل المثال، xlm-r-base-en-ko-nli-ststb )، فلا يزال بإمكانك استخدامه مع هذه المكتبة ولكن ليس كلغة مستقلة. ستحتاج إلى إضافة مرحلة مسار تم تكوينها بشكل صحيح (انظر أدناه واجهة برمجة تطبيقات nlp.add_pipe ).

الاستخدام

هناك طرق مختلفة لتحميل نماذج sentence-bert .

واجهة برمجة التطبيقات spacy.load : يلزمك تثبيت أحد النماذج الواردة في الجدول أعلاه
spacy_sentence_bert.load_model : يمكنك تحميل أحد النماذج من الجدول أعلاه دون تثبيت الحزم المستقلة
nlp.add_pipe API: يمكنك تحميل أي من نماذج sentence-bert أعلى كائن nlp الخاص بك

واجهة برمجة التطبيقات `spacy.load`

تم تثبيت النموذج المستقل من GitHub (على سبيل المثال، من الجدول أعلاه، pip install https://github.com/MartinoMensio/spacy-sentence-bert/releases/download/v0.1.2/en_stsb_roberta_large-0.1.2.tar.gz#en_stsb_roberta_large-0.1.2 )، يمكنك تحميل النموذج مباشرةً باستخدام واجهة برمجة تطبيقات spaCy:

 import spacy
nlp = spacy . load ( 'en_stsb_roberta_large' )

`spacy_sentence_bert.load_model` API

يمكنك الحصول على نفس النتيجة دون الحاجة إلى تثبيت النموذج المستقل، وذلك باستخدام هذه الطريقة:

 import spacy_sentence_bert
nlp = spacy_sentence_bert . load_model ( 'en_stsb_roberta_large' )

`nlp.add_pipe` API

إذا كنت تريد استخدام أحد تضمينات الجملة على كائن لغة موجود، فيمكنك استخدام الأسلوب nlp.add_pipe . يعمل هذا أيضًا إذا كنت تريد استخدام نموذج لغة غير مدرج في الجدول أعلاه. فقط تأكد من أن محولات الجملة تدعمها.

 import spacy
nlp = spacy . blank ( 'en' )
nlp . add_pipe ( 'sentence_bert' , config = { 'model_name' : 'allenai-specter' })
nlp . pipe_names

عند استخدام النماذج لأول مرة، تقوم بتنزيل جملة BERT إلى المجلد المحدد باستخدام TORCH_HOME في متغيرات البيئة (الافتراضي ~/.cache/torch ).

بمجرد تحميل النموذج، استخدمه من خلال خاصية vector وطريقة similarity في SpaCy:

 # get two documents
doc_1 = nlp ( 'Hi there, how are you?' )
doc_2 = nlp ( 'Hello there, how are you doing today?' )
# get the vector of the Doc, Span or Token
print ( doc_1 . vector . shape )
print ( doc_1 [ 3 ]. vector . shape )
print ( doc_1 [ 2 : 4 ]. vector . shape )
# or use the similarity method that is based on the vectors, on Doc, Span or Token
print ( doc_1 . similarity ( doc_2 [ 0 : 7 ]))

المرافق

لبناء وتحميل

VERSION=0.1.2
# build the standalone models (17)
./build_models.sh
# build the archive at dist/spacy_sentence_bert-${VERSION}.tar.gz
python setup.py sdist
# upload to pypi
twine upload dist/spacy_sentence_bert- ${VERSION} .tar.gz

يوسع

معلومات إضافية